[論文レビュー] Revealing interpretable object representations from human behavior

Charles Zheng, Francisco Pereira+2 more|arXiv (Cornell University)|Jan 9, 2019

Language and cultural evolution参考文献 21被引用数 25

ひとこと要約

本論文は、奇抜な1つを選ぶタスクにおける人間の行動的判断から、解釈可能なオブジェクト表現を推定するスパースで非負の埋め込み手法（SPoSE）を提案する。1,854のオブジェクトカテゴリにわたる類似性判断を分析することで、系統的分類、機能、知覚的属性といった解釈可能な特徴に対応する49次元の意味的空間を学習し、分類や典型性評価といった多様な行動的タスクにおいて高い予測精度を達成した。

ABSTRACT

To study how mental object representations are related to behavior, we estimated sparse, non-negative representations of objects using human behavioral judgments on images representative of 1,854 object categories. These representations predicted a latent similarity structure between objects, which captured most of the explainable variance in human behavioral judgments. Individual dimensions in the low-dimensional embedding were found to be highly reproducible and interpretable as conveying degrees of taxonomic membership, functionality, and perceptual attributes. We further demonstrated the predictive power of the embeddings for explaining other forms of human behavior, including categorization, typicality judgments, and feature ratings, suggesting that the dimensions reflect human conceptual representations of objects beyond the specific task.

研究の動機と目的

• メンタル表現が人間の行動とどのように関係するか、特に文脈依存的意思決定の文脈でモデル化すること。
• 従来の意味的特徴モデルの限界（二値特徴、度合いの欠如、文脈への感受性の低さ）を克服し、行動データから連続的で解釈可能な表現を導出すること。
• 事前に指定された特徴に依存せずに、コアな概念的次元を捉える低次元でスパースかつ非負の埋め込みを構築すること。
• 得られた表現が奇抜な1つを選ぶタスクにとどまらず、典型性や特徴評価といった他の行動的現象にも一般化して予測できることを示すこと。

提案手法

• アマゾンのMechanical Turkの作業者による奇抜な1つを選ぶタスクでの行動的判断を用い、3つの画像のトリプレットから類似性が最も低いものを選ぶ。
• 類似性判断にスパースで非負の行列分解（SNMF）を適用し、1,854のオブジェクト概念それぞれに対して49次元の埋め込み空間を学習する。
• 得られたSPoSE（スパース、正、およびスパース埋め込み）ベクトルはスパースかつ非負であり、特徴負荷解析によって解釈可能である。
• 各埋め込み次元は、先行研究（例：Devereux et al., 2014）で得られた人間が提示した意味的特徴と相関させることで、その概念的意味を特定する。
• 埋め込みベクトル間のドット積を計算することで、未観測のオブジェクトトリプレットにおける新しい行動的判断を予測し、類似性を反映する。
• 特徴ベースと次元的モデルの両方の特徴を統合する：スパース性が共有特徴を強調し、ベクトル間の近接性が連続的な類似性を反映する。

実験結果

リサーチクエスチョン

• RQ1 文脈的判断に基づくオブジェクト類似性に関する人間の行動的判断から、低次元で解釈可能なオブジェクト概念の表現を推定できるか？
• RQ2 埋め込み空間の学習された次元が、系統的分類、機能、知覚的属性といった意味的なカテゴリに対応しているか？
• RQ3 SPoSE表現は、奇抜な1つを選ぶタスクにとどまらず、分類や典型性評価といった他の行動的行動を予測できるか？
• RQ4 得られた表現が、人間が提示した特徴によって明らかにされるオブジェクト概念の意味的構造をどの程度反映しているか？
• RQ5 従来の特徴ベースまたは次元的モデルと比較して、本モデルの性能はどの程度か？

主な発見

• SPoSEモデルは、奇抜な1つを選ぶタスクにおける人間の行動的判断を説明する上で高い予測精度を示し、類似性判断の説明可能な分散の大部分を捉えた。
• 49次元の埋め込み空間は、異なるデータ分割や被験者グループ間で著しく再現可能であった。
• 埋め込みの個々の次元は、系統的分類（例：「果物である」）、機能（例：「食べ物に使う」）、知覚的属性（例：「赤い色をしている」）といった意味的特徴として解釈可能であった。
• モデルは、新しいデータにおける人間の分類行動、典型性評価、特徴評価を成功裏に予測し、訓練タスクを超えた一般化を示した。
• 埋め込みのスパースで非負の構造のおかげで、各次元にどの概念が負荷されているかを明確に解釈でき、明確な概念的クラスタが特定された。
• モデルの性能から、特徴の重複に応じて、特徴ベース（共有特徴）と次元的（ベクトルの近接性）の両方の類似性メカニズムを統合したハイブリッド意思決定機構が存在することが示唆された。