[論文レビュー] A Measure Based Generalizable Approach to Understandability

Vikas Kushwaha, Sruti Srinivasa Ragavan+1 more|ArXiv.org|Mar 27, 2025

Complex Systems and Decision Making被引用数 7

ひとこと要約

人間–エージェントのコミュニケーションと指示可能性を導くための、認知科学に基づき、領域非依存の理解性フレームワークを6次元で提案する。

ABSTRACT

Successful agent-human partnerships require that any agent generated information is understandable to the human, and that the human can easily steer the agent towards a goal. Such effective communication requires the agent to develop a finer-level notion of what is understandable to the human. State-of-the-art agents, including LLMs, lack this detailed notion of understandability because they only capture average human sensibilities from the training data, and therefore afford limited steerability (e.g., requiring non-trivial prompt engineering). In this paper, instead of only relying on data, we argue for developing generalizable, domain-agnostic measures of understandability that can be used as directives for these agents. Existing research on understandability measures is fragmented, we survey various such efforts across domains, and lay a cognitive-science-rooted groundwork for more coherent and domain-agnostic research investigations in future.

研究の動機と目的

• データ駆動の priors を超えた、領域非依存の理解性指標の必要性を喚起する。
• 理解性を6つの認知次元カテゴリに整理する。
• 既存の指標を領域横断的に調査し、提案された次元にマッピングする。
• エージェントの指示性を高めるための一般化可能で実装可能な指標の基盤を整える。

提案手法

• 理解性の六つの次元を提案する: 知覚的優位性、記憶コスト、パターンの解読性、結束性、論理的一貫性、意味的適合。
• 次元を正当化するために認知アーキテクチャと理解モデルをレビュー。
• ドメイン固有の指標（例：テキスト/コードの複雑さ、結束性）を基本的な認知構造に結びつける。
• これらの次元がエージェントの最適化指示としてどのように活用できるかを概説。
• 認知心理学に根ざした一般化可能で領域非依存の指標の可能性を論じる。

実験結果

リサーチクエスチョン

• RQ1 テキスト、コード、UI などのアーティファクトに対する人間の理解を支える基礎的な認知次元は何か？
• RQ2 領域固有の理解性指標を認知心理学の原理を用いて一般化するにはどうすればよいか？
• RQ3 これら6つの次元をエージェントの指示・最適化に統合する未来の道筋は何か？

主な発見

• 領域横断の理解性指標は断片的な状況だが、統一された6次元フレームワークを提案する。
• 6つの次元は認知処理の段階と対応し、情報アーティファクトを横断して一般化できる。
• これらの次元をエージェントの steerability と理解しやすさを向上させる最適化指示として活用できる可能性がある。
• このフレームワークは認知心理学に基づく、簡潔で説明的かつ予測的な理論を提供する。