[論文レビュー] Identifying concept libraries from language about object structure

Catherine Wong, William P. McCarthy+6 more|arXiv (Cornell University)|May 11, 2022

Semantic Web and Ontologies被引用数 6

ひとこと要約

本稿は、2,000体の手続き的生成された物体の自然言語的記述とプログラム的表現を組み合わせることで、人々が物体構造を記述するために使用する基本的概念ライブラリを同定する。機械翻訳に類似したライブラリ評価を用いることで、人々が概念ライブラリのサイズと物体の記述長の両方を最小化する傾向にあるという、情報理論的トレードオフが明らかになる。これにより、効率的で再利用可能な部品ベースの表現が可能になる。

ABSTRACT

Our understanding of the visual world goes beyond naming objects, encompassing our ability to parse objects into meaningful parts, attributes, and relations. In this work, we leverage natural language descriptions for a diverse set of 2K procedurally generated objects to identify the parts people use and the principles leading these parts to be favored over others. We formalize our problem as search over a space of program libraries that contain different part concepts, using tools from machine translation to evaluate how well programs expressed in each library align to human language. By combining naturalistic language at scale with structured program representations, we discover a fundamental information-theoretic tradeoff governing the part concepts people name: people favor a lexicon that allows concise descriptions of each object, while also minimizing the size of the lexicon itself.

研究の動機と目的

• 複雑な視覚的物体を心の中で分解する際に人々が使用する部品概念の集合を特定すること。
• 自然言語的記述において、特定の部品概念が他のものよりも好まれる理由を理解すること。
• 部品と関係をエンコードする記号的プログラムライブラリを用いて、人間の概念的表現をモデル化すること。
• 候補となる概念ライブラリが、人間の物体構造記述の言語的記述をどの程度うまく予測できるかを評価すること。
• 人間の部品命名と抽象化を支配する背後にある情報理論的原則を解明すること。

提案手法

• グラフィックスプログラムを用いて2,000体の新規物体を合成し、2つのドメイン（描画とタワー）に分け、それぞれに4つのサブドメイン（例：車両、城）を設けた。
• 465名の参加者から、物体構造を記述するオープンエンドの自然言語的記述を収集した。
• 問題を、異なる抽象度の部品概念セットをエンコードする候補となるプログラムライブラリの探索として形式化した。
• 各候補ライブラリから生成されたプログラムと言語的記述の整合性を評価するため、機械翻訳に類似したフレームワークを用いた。
• 代表的コストをライブラリサイズと平均記述長の合計として測定し、組み合わせコストを最小化するように最適化した。
• 多様な物体カテゴリにわたる語彙のコンactさと記述効率のバランスを取る探索により、最適なライブラリを同定した。

実験結果

リサーチクエスチョン

• RQ1 人々は、複雑な物体を記述するためにどのような部品概念を使用し、なぜそれらの概念が好まれるのか？
• RQ2 人間の言語の構造は、物体分解に使用される概念ライブラリの背後にあるものとどのように関連しているか？
• RQ3 人々は、部品の名前を付ける際、語彙のサイズと記述長の両方をどの程度バランスさせるのか？
• RQ4 プログラムライブラリの形式的モデルは、人間の物体構造記述における言語的行動を予測できるか？
• RQ5 人間の視覚認知における部品概念の選択を支配する情報理論的原則は何か？

主な発見

• 生成プログラム表現が長い物体に対して、人々はより長い言語的記述を生成する傾向があり、プログラムの複雑さと言語の複雑さの直接的な関連性が示された。
• 最も効果的な概念ライブラリは、ライブラリサイズと平均記述長の組み合わせコストを最小化しており、人間の概念的表現における根本的なトレードオフが明らかになった。
• 最適なライブラリは、一貫して高レベルの部品概念（例：「ボタンの列」「ノブ」）を複数の物体に再利用しており、再利用可能で抽象度の高いコンポーネントへの好まれる傾向が示された。
• 代表的コストを最小化するライブラリと、人間の言語を最もよく予測するライブラリの間には強い一致があり、モデルの正確性が裏付けられた。
• これらの発見は、物体分類における有名な「基本レベル」と類似した、情報理論的効率性によって支配される「基本レベル」の部品抽象化が存在することを示唆している。
• 結果は、効率的な通信と視覚的構造の表現を可能にする、コンパクトで再利用可能な部品概念の語彙が存在することを支持している。