[論文レビュー] Putting Humans in the Natural Language Processing Loop: A Survey

Zijie J. Wang, Dongjin Choi+2 more|arXiv (Cornell University)|Mar 6, 2021

Topic Modeling参考文献 27被引用数 15

ひとこと要約

本調査は、NLPおよびHCI分野からの研究を統合し、ヒューマンインザループ（HITL）自然言語処理（NLP）システムの包括的分析を提供する。HITLフレームワークをタスク、目的、ヒューマンインタラクション設計、フィードバック学習手法の観点から分類し、継続的な人間のフィードバックを通じてモデルのパフォーマンス、解釈可能性、使いやすさを向上させる役割を強調するとともに、人間中心のNLP開発における主要な研究ギャップと今後の方向性を同定する。

ABSTRACT

How can we design Natural Language Processing (NLP) systems that learn from human feedback? There is a growing research body of Human-in-the-loop (HITL) NLP frameworks that continuously integrate human feedback to improve the model itself. HITL NLP research is nascent but multifarious -- solving various NLP problems, collecting diverse feedback from different people, and applying different methods to learn from collected feedback. We present a survey of HITL NLP work from both Machine Learning (ML) and Human-Computer Interaction (HCI) communities that highlights its short yet inspiring history, and thoroughly summarize recent frameworks focusing on their tasks, goals, human interactions, and feedback learning methods. Finally, we discuss future directions for integrating human feedback in the NLP development loop.

研究の動機と目的

• NLPおよびHCI分野を横断する包括的かつ学際的なHITL NLP研究の調査を提供すること。
• HITL NLPフレームワークのコアな次元（タスク、目的、ヒューマンインタラクション、フィードバック学習手法）に基づき、既存のフレームワークを体系化すること。
• フィードバック収集、インタフェース設計、人間とAIの協働の評価における、重要な研究ギャップおよび未解決問題を同定すること。
• より解釈可能で使いやすく信頼性の高いNLPシステムを構築するため、NLP研究者とHCI研究者との間の深い連携を提唱すること。
• HITL NLP研究分野における再現可能性と進展を促進するため、オープンソースツール、共有データセット、厳密なユーザースタディの開発を促進すること。

提案手法

• NLPおよびHCI分野からの25件以上の代表的HITL NLP研究を対象とした体系的文献レビュー。
• 4つの次元に基づくフレームワークの分類：(1) NLPタスク（例：テキスト分類、要約）、(2) システムの目的（例：パフォーマンス、解釈可能性）、(3) ヒューマンインタラクションモダリティ（例：GUI、自然言語）、(4) フィードバック学習手法（例：オンライン更新、反事実例）。
• バイナリ、スケーリング、自然言語、反事実例などのフィードバックタイプの分析を通じて、モデル学習に与える影響を評価。
• モデル解釈のインジケーター、質問のフレーミング、フィードバックのガイダンスなどのインタフェース設計戦略を評価し、フィードバック品質の向上を図る。
• メタアナリシスを用いて、フィードバックの一貫性、ノイズ、ユーザの熟練度に関する繰り返し発生するデザインパターンと課題を同定。
• 実際のHITLインタラクションを説明する事例研究および例（例：自然言語入力を通じたモデルパラメータの変更、'もしも'機能の操作）を統合し、実用的応用を示す。

実験結果

リサーチクエスチョン

• RQ1 異なるHITL NLPフレームワークは、タスク、目的、ヒューマンインタラクションモード、フィードバック学習メカニズムの観点でどのように異なるか？
• RQ2 NLPシステムにおける高品質で一貫性があり有用な人間のフィードバックを収集する上で、主な課題は何か？
• RQ3 HITLシステムは、モデルの正確性を向上させるだけでなく、解釈可能性と使いやすさをどのように向上させることができるか？
• RQ4 HCIの原則は、NLPシステム向けの効果的で直感的で信頼性のある人間-AIインタフェースを設計するために、どのように役立つのか？
• RQ5 NLP開発プロセスにおける人間のフィードバック統合を進める上で、最も重要な今後の研究分野は何か？

主な発見

• HITL NLPフレームワークは、トレーニングおよびデプロイメント段階で継続的な人間のフィードバックを統合することにより、モデルのパフォーマンス、解釈可能性、使いやすさを顕著に向上させる。
• フィードバックの質はインタフェース設計に強く依存しており、モデル解釈のインジケーターと質問のフレーミングが、人間からの入力の有用性を顕著に向上させる。
• 自然言語によるモデルパラメータの変更を可能にするシステム（例：'私には they/them を使ってください'）は、ユーザーの関与度を高め、モデルの透明性を向上させる。
• HITLシステムの有効性とユーザの信頼を評価するため、モデル指標を超えた厳密なユーザースタディが不可欠である。
• ツールのオープンソース化、ユーザースタディプロトコルの共有、パブリックフィードバックデータセットの作成は、分野の再現可能性と進展にとって不可欠である。
• 最も効果的なHITLシステムは、収集すべき最も情報量の多いフィードバックを選択し、ユーザーが高品質な入力を提供するよう誘導する動的選択を実施する。