[論文レビュー] A Joint Model of Language and Perception for Grounded Attribute Learning

Cynthia Matuszek, Nicholas FitzGerald+3 more|arXiv (Cornell University)|Jun 27, 2012

Multimodal Machine Learning Applications参考文献 27被引用数 181

ひとこと要約

本論文は、自然言語の属性を物理的シーンに埋め込むために、言語理解と視覚的認識を統合する共同学習モデルを提案する。オンラインで動作するEMに類似したアルゴリズムを用い、論理形式や分類器出力の明示的アノテーションがなくても、物体属性のための視覚的分類器と、確率的カテゴリカル文法を用いた構成的意味表現を同時に学習し、高い精度で埋め込み属性の誘導を達成する。

ABSTRACT

As robots become more ubiquitous and capable, it becomes ever more important to enable untrained users to easily interact with them. Recently, this has led to study of the language grounding problem, where the goal is to extract representations of the meanings of natural language tied to perception and actuation in the physical world. In this paper, we present an approach for joint learning of language and perception models for grounded attribute induction. Our perception model includes attribute classifiers, for example to detect object color and shape, and the language model is based on a probabilistic categorial grammar that enables the construction of rich, compositional meaning representations. The approach is evaluated on the task of interpreting sentences that describe sets of objects in a physical workspace. We demonstrate accurate task performance and effective latent-variable concept induction in physical grounded scenes.

研究の動機と目的

• 訓練を受けていないユーザーが、自然言語と指差しを用いてロボットに物体の属性を教えることを可能にする。
• 論理形式のアノテーションがなくても、物理的属性のための視覚的分類器と、構成的意味表現を同時に学習する。
• 生の言語、画像、およびターゲットオブジェクト集合から、新しい埋め込み概念（視覚的分類器とペairedされた語彙）を誘導する。
• 最小限の監視のもとで、物理的環境においてオンラインで段階的に学習を可能にする。
• 共同言語・認識学習を通じて、未知の属性のゼロショットおよびフェイントショット学習を効果的に実現する。

提案手法

• 文から構成的意味表現を生成するため、確率的カテゴリカル文法に基づく意味解析器を採用する。
• Kinectから得られる色と形状の特徴量を用いたロジスティック回帰分類器を用いて、物体属性を検出する。
• 意味表現内の論理定数と視覚的分類器との間に明示的な対応関係を導入する。
• 分類器の信頼度と真値のオブジェクト集合を用いて、論理式を満たすオブジェクトの集合を計算する実行モデルを定義する。
• 潜在的な言語的および視覚的コンポonentの周辺尤度を最大化するオンラインで動作するEMに類似した学習アルゴリズムを適用する。
• 解析器内の特徴量重みに基づいて、新しい語彙と新規に作成された視覚的分類器を関連付けることで、新しい語彙-分類器ペアを学習する。

実験結果

リサーチクエスチョン

• RQ1 アノテーション付きの意味表現がなくても、新しい自然言語の語彙を対応する視覚的属性と関連付けることができるか？
• RQ2 構造化されていない言語データと知覚データから、共同学習による新しい埋め込み概念の誘導はどの程度有効か？
• RQ3 初期学習時に見られなかった未知の属性へ、システムはどの程度一般化できるか？
• RQ4 分離された言語モデルや知覚モデルと比較して、共同モデルは埋め込み属性選択においてどの程度優れているか？
• RQ5 機能的な共同言語・認識システムを初期化するために、最低限どの程度の監視データが必要か？

主な発見

• 共同モデルは、オブジェクト集合選択においてF1スコア0.76を達成し、言語のみのベースライン（F1=0.14）と視覚のみのベースライン（F1=0.55）を著しく上回った。
• 学習後、新たに学習された概念の色と形状の分類器は、それぞれ平均97%および74%の精度を達成し、信頼性の高い属性検出が可能になった。
• 新しい語彙（例：同義語）を既存のまたは新規の視覚的分類器と正しくペアリングすることができ、強力な概念誘導の能力を示した。
• 150文未塔の訓練文を用いた場合、モデルの性能が急激に低下し、共同学習が一般化できなくなるデータの閾値があることが示された。
• 解析器内の特徴量重みは、新しい語彙を適切な分類器に明確に関連付けていた（例：'red' は新しい色分類器と関連）。一方、関係のない語彙（例：'thing'）はヌルトークンにマッピングされた。