[論文レビュー] Discovering the Sweet Spot of Human-Computer Configurations: A Case Study in Information Extraction

Maximilian Mackeprang, Claudia Müller-Birn+1 more|arXiv (Cornell University)|Sep 16, 2019

Persona Design and Applications参考文献 61被引用数 4

ひとこと要約

本論文は、人間とコンピュータのインタラクションを構成するための体系的アプローチを提案し、自動化レベル（LoA）を検討することで、人間の作業負荷とシステム性能のバランスが取れた最適な「最適領域」を特定することを目的としている。共同イノベーションにおける情報抽出に適用されたこの方法により、構成の実証的評価が可能となり、アノテーション品質を最適化するとともに人間の作業負荷を最小限に抑えるカスタマイズ可能なオープンソースツールが開発された。

ABSTRACT

Interactive intelligent systems, i.e., interactive systems that employ AI technologies, are currently present in many parts of our social, public and political life. An issue reoccurring often in the development of these systems is the question regarding the level of appropriate human and computer contributions. Engineers and designers lack a way of systematically defining and delimiting possible options for designing such systems in terms of levels of automation. In this paper, we propose, apply and reflect on a method for human-computer configuration design. It supports the systematic investigation of the design space for developing an interactive intelligent system. We illustrate our method with a use case in the context of collaborative ideation. Here, we developed a tool for information extraction from idea content. A challenge was to find the right level of algorithmic support, whereby the quality of the information extraction should be as high as possible, but, at the same time, the human effort should be low. Such contradicting goals are often an issue in system development; thus, our method proposed helped us to conceptualize and explore the design space. Based on a critical reflection on our method application, we want to offer a complementary perspective to the value-centered design of interactive intelligent systems. Our overarching goal is to contribute to the design of so-called hybrid systems where humans and computers are partners.

研究の動機と目的

• インタラクティブな知能システムの設計において、人間と機械の貢献の適切なバランスを特定するための体系的指針が不足しているという問題に対処すること。
• 共同イノベーションにおける情報抽出において、人間の作業負荷を最小限に抑えつつアノテーション品質を最大化する「最適領域」—つまり、バランスの取れた構成を特定すること。
• インタラクティブな知能システムにおける人間-コンピュータ構成の設計空間を体系的に探索するための方法を開発すること。
• 異なるユースケースの目的に適合させられる、実証的に検証されたカスタマイズ可能な情報抽出ツールを提供すること。
• 価値中心設計とは補完的であるが、人間-コンピュータ協働におけるカスタマイズ可能性とパフォーマンスのトレードオフに焦点を当てる。

提案手法

• 本手法は、人間とコンピュータのタスク割り当ての異なる配置を表す複数の自動化レベル（LoA）を定義・評価することに基づいている。
• 各LoAは、特定の技術的実装（計算タイプ）と明確に定義された人間の関与レベルを有する。
• 構造的な設計空間の探索を用い、構成を体系的に定義し、実証的に評価する。
• しきい値のモニタリングと構成評価を支援するため、メトリクスカタログとメトリクス定義の依存関係グラフを提案する。
• 本手法は、共同イノベーションにおけるアイデアコンテンツからの情報抽出という実世界のユースケースに適用された。ここでは意味的アノテーションが用いられた。
• 結果として得られたツール、ICV（インタラクティブコンセプトバリデーション）には、アプリケーションの文脈に応じた「最適領域」の選択が可能な設定パネルが含まれている。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、インタラクティブな知能システムにおける人間-コンピュータインタラクションの異なる構成を体系的に定義・評価できるか？
• RQ2 共同イノベーションのための情報抽出において、人間の作業負荷とシステムパフォーマンスの最適なバランスは何か？
• RQ3 自動化レベル（LoA）を実世界のインタラクティブシステムに具体的に適用し、評価する方法は何か？
• RQ4 自動化された情報抽出におけるアノテーション品質と人間の作業負荷のトレードオフは何か？
• RQ5 本手法は、他のインタラクティブな知能システムの応用に一般化され、適応可能か？

主な発見

• 本手法により、人間の作業負荷を最小限に抑えつつ高いアノテーション品質を維持できる「最適領域」の構成が特定された。
• 複数の構成における実証的評価を通じて、中程度の自動化レベルがパフォーマンスと作業負荷の最良のトレードオフをもたらすことが示された。
• 開発されたICVツールは、設定パネルを備えたオープンソースソフトウェアとしてリリースされ、ユーザーがアプリケーションの文脈に応じてシステム動作を選択できるようになった。
• 本手法は、設計意思決定の明確化と、インタラクティブシステムにおける自動化に関する情報に基づいた選択を支援する上で有効であった。
• 著者らは、以下の3つの重要な強化を同定した：メトリクスカタログ、メトリクスの依存関係グラフ、反復的設計改善のためのアクション–フィードバックモデル。
• 本研究は、直感的・直感的でない自動化選択よりも、体系的な構成設計がより良いシステム的成果をもたらす証拠を示している。