[论文解读] Human-Centric Research for NLP: Towards a Definition and Guiding Questions
本文提出了自然语言处理（NLP）中以人为本研究（HCR）的可操作定义，强调在整个研究流程中积极纳入外部利益相关者（如最终用户、领域专家和数据收集者）的参与。论文将研究划分为四个阶段——问题定义、数据收集、模型构建和评估，每个阶段均配有指导性问题，以嵌入人类需求，并在文档相似性和信息抽取任务中展示了其应用。
With Human-Centric Research (HCR) we can steer research activities so that the research outcome is beneficial for human stakeholders, such as end users. But what exactly makes research human-centric? We address this question by providing a working definition and define how a research pipeline can be split into different stages in which human-centric components can be added. Additionally, we discuss existing NLP with HCR components and define a series of guiding questions, which can serve as starting points for researchers interested in exploring human-centric research approaches. We hope that this work would inspire researchers to refine the proposed definition and to pose other questions that might be meaningful for achieving HCR.
研究动机与目标
- 解决NLP领域中缺乏清晰、可操作的以人为本研究（HCR）定义的问题。
- 识别并构建NLP研究流程中可有意义地纳入外部利益相关者的若干关键阶段。
- 提供一组指导性研究问题，帮助研究人员设计具有现实世界影响的HCR项目。
- 通过信息抽取和文档相似性任务的案例研究，展示HCR原则的实际应用。
- 激励NLP社区进一步完善HCR定义，并探索新的、以利益相关者为导向的研究方向。
提出的方法
- 提出一个工作定义：当外部利益相关者在研究中积极参与，而不仅限于研究人员时，即为HCR。
- 将NLP研究流程划分为四个阶段——问题定义、数据收集、模型构建和评估，每个阶段均设有HCR整合的潜在节点。
- 为每个阶段引入一系列结构化、领域无关的指导性问题，帮助研究人员嵌入利益相关者的需求。
- 将指导性问题转化为信息抽取和语义文本相似性（STS）任务的具体示例。
- 通过案例研究说明HCR原则如何在实际NLP应用中实现。
- 强调通过利益相关者参与问题定义、数据标注、模型行为塑造和结果评估，实现迭代式、参与式设计。
实验结果
研究问题
- RQ1什么定义了NLP中的研究项目为以人为本？如何在研究流程中实现这一定义？
- RQ2外部利益相关者如何在NLP研究的各个阶段——问题定义、数据收集、模型构建和评估中实现有意义的参与？
- RQ3哪些具体指导性问题可帮助研究人员从依赖直觉的研究转向以利益相关者为中心的研究？
- RQ4HCR原则如何适配特定的NLP任务，如信息抽取和文档相似性？
- RQ5HCR在哪些方面可提升NLP系统的实际相关性和现实世界影响力？
主要发现
- 本文确立了一个HCR的工作定义：即外部利益相关者积极参与研究，不仅作为被动对象，更是共同创造者。
- 四阶段研究流程（问题定义、数据收集、模型构建、评估）为整合HCR要素提供了结构化框架。
- 各阶段的指导性问题有助于研究人员识别利益相关者需求，并将研究目标与真实用户痛点对齐。
- 信息抽取和文档相似性任务的案例研究表明，HCR问题可具体应用于改进模型设计和评估标准。
- 该方法使研究人员能够更清晰地传达其工作的以人为本特性，并确保成果对最终用户具有相关性和益处。
- 该框架具有意识上的灵活性和开放性，鼓励社区对其进一步完善，并适配多样化的NLP应用场景。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。