[論文レビュー] Human-Centric Research for NLP: Towards a Definition and Guiding Questions

Bhushan Kotnis, Kiril Gashteovski+8 more|arXiv (Cornell University)|Jul 10, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、自然言語処理（NLP）分野における人間中心研究（HCR）の実用的定義を提唱し、最終ユーザー、ドメインエキスパート、データ収集者などの外部ステークホルダーが研究プロセス全体に能動的に関与することを強調している。研究の4段階（問題定義、データ収集、モデル構築、評価）を提示し、各段階に人間のニーズを統合するための誘導的質問を設け、文書類似度および情報抽出タスクにおける応用を示している。

ABSTRACT

With Human-Centric Research (HCR) we can steer research activities so that the research outcome is beneficial for human stakeholders, such as end users. But what exactly makes research human-centric? We address this question by providing a working definition and define how a research pipeline can be split into different stages in which human-centric components can be added. Additionally, we discuss existing NLP with HCR components and define a series of guiding questions, which can serve as starting points for researchers interested in exploring human-centric research approaches. We hope that this work would inspire researchers to refine the proposed definition and to pose other questions that might be meaningful for achieving HCR.

研究の動機と目的

• NLPにおける人間中心研究（HCR）の明確で実行可能な定義が不足しているという問題に応えること。
• 外部ステークホルダーが意味のある形で関与できる、NLP研究プロセスの主要段階を同定し構造化すること。
• 研究者が現実世界のインパクトを持つHCRプロジェクトを設計するのを支援する一連の誘導的質問を提供すること。
• 情報抽出および文書類似度の分野における事例研究を通じて、HCR原則の実用的応用を示すこと。
• NLPコミュニティがHCRの定義を洗練させ、ステークホルダー主導の新たな研究方向性を模索するよう刺激すること。

提案手法

• 実用的定義を提唱：HCRとは、研究者単独ではなく、外部ステークホルダーが能動的に関与する研究である。
• NLP研究プロセスを4段階（問題定義、データ収集、モデル構築、評価）に分割し、それぞれにHCR統合の可能性を示す。
• 各段階に、研究者がステークホルダーのニーズを統合できるようにする、分野に依存しない構造化された誘導的質問を導入する。
• 誘導的質問を、情報抽出および意味的テクスト類似度（STS）タスクに特化した例に適応する。
• 事例研究を用いて、HCR原則が実際のNLPアプリケーションにどう実装できるかを説明する。
• 問題定義、データラベリング、モデル動作の設計、評価結果の検証において、ステークホルダーを関与させる反復的で参加型の設計を強調する。

実験結果

リサーチクエスチョン

• RQ1 NLPにおける研究プロジェクトが人間中心的とされる条件は何か。また、その定義を研究プロセス全体にどのように実装できるか。
• RQ2 外部ステークホルダーは、NLP研究の各段階（問題定義、データ収集、モデル構築、評価）において、どのように意味的に関与できるか。
• RQ3 研究者が直感的アプローチからステークホルダー主導のNLP研究に移行するのを支援する具体的な誘導的質問は何か。
• RQ4 HCR原則は、情報抽出や文書類似度などの特定のNLPタスクにどのように適応できるか。
• RQ5 HCRは、NLPシステムの実用的関連性および現実世界へのインパクトをどのように向上させることができるか。

主な発見

• 本論文は、外部ステークホルダーが受動的な対象ではなく、共同創造者として能動的に関与する研究をHCRと定義する実用的定義を確立した。
• 問題定義、データ収集、モデル構築、評価の4段階からなる研究プロセスは、HCR要素を統合するための構造的フレームワークを提供する。
• 各段階に設けた誘導的質問は、研究者がステークホルダーのニーズを特定し、研究目標を現実世界のユーザーの課題に一致させることを支援する。
• 情報抽出および文書類似度の分野における事例研究により、HCRの質問がモデル設計や評価基準の改善に具体的に応用可能であることが示された。
• このアプローチにより、研究者が自身の研究の「人間中心的」性質をより明確に説明でき、最終的な成果物がエンドユーザーにとって関連性があり有益であることを保証できる。
• このフレームワークは意図的に柔軟で開放的であり、多様なNLPアプリケーションに適合させるためにコミュニティによる洗練と適応を促進する。