[論文レビュー] Emergent Graphical Conventions in a Visual Communication Game

Shuwen Qiu, Sirui Xie+5 more|arXiv (Cornell University)|Nov 28, 2021

Aesthetic Perception and Analysis参考文献 45被引用数 5

ひとこと要約

本論文は、視覚的概念を伝えるために抽象的なスケッチを共同で進化させる2エージェントの視覚的コミュニケーションゲームにおいて、グラフィカルな慣習の出現をモデル化する強化学習フレームワークを導入する。主な貢献は、適切な訓練条件下で、エージェントが象徴的で、図像的で、意味的に構造化されたスケッチへと共同で進化させられることの実証である。

ABSTRACT

Humans communicate with graphical sketches apart from symbolic languages. Primarily focusing on the latter, recent studies of emergent communication overlook the sketches; they do not account for the evolution process through which symbolic sign systems emerge in the trade-off between iconicity and symbolicity. In this work, we take the very first step to model and simulate this process via two neural agents playing a visual communication game; the sender communicates with the receiver by sketching on a canvas. We devise a novel reinforcement learning method such that agents are evolved jointly towards successful communication and abstract graphical conventions. To inspect the emerged conventions, we define three fundamental properties -- iconicity, symbolicity, and semanticity -- and design evaluation methods accordingly. Our experimental results under different controls are consistent with the observation in studies of human graphical conventions. Of note, we find that evolved sketches can preserve the continuum of semantics under proper environmental pressures. More interestingly, co-evolved agents can switch between conventionalized and iconic communication based on their familiarity with referents. We hope the present research can pave the path for studying emergent communication with the modality of sketches.

研究の動機と目的

• 視覚的コミュニケーションにおけるグラフィカル慣習の進化をモデル化・シミュレーションすること。特に、図像的表現から象徴的表現への移行に焦点を当てる。
• 事前に定義された象徴的語彙が存在しない状況において、エージェントが図像的・象徴的特性のバランスをどのようにとるかを調査すること。
• 象徴的・図像的・意味的という3つの核心的性質を用いて、発生したグラフィカル慣習の評価を行うこと。
• 進化したスケッチが、人間の認知プロセスを模倣するように、概念間の知覚的および意味的関係を保持しているかどうかを検証すること。
• 将来的な視覚的モodalの象徴的言語を超えた、顕在的コミュニケーションに関する研究の基盤を築くこと。

提案手法

• 2エージェントの視覚的コミュニケーションゲームを、送信者と受信者が交互に意思決定を行う逐次的意思決定プロセスとして定式化する。送信者はキャンバス上にスティックを連続して描画し、受信者はそのスケッチを評価する。
• 通信チャネルを介した効果的なバックプロパゲーションを可能にするために、共同価値関数とエリギビリティトレースを用いた、新たな強化学習手法を提案する。これはREINFORCEや独立価値関数アプローチとは異なる。
• スティックは離散的トークンではなく連続的にパラメータ化されているため、訓練中に滑らかな勾配伝播とより良い関数近似が可能になる。
• モンテカルロサンプリングと関数近似を統合することで、エージェントが複雑で抽象的なスケッチの相関関係をよりよく認識できるようにする。
• 図像的・象徴的・意味的という3つの評価指標を、事前学習済みVGGネットワークとword2vec埋め込みから得た深層特徴を用いて定義する。
• t-SNE可視化と距離相関分析を用いて、スケッチ埋め込みのトポグラフィー的構造が画像空間および意味的空間に対してどのように位置づけられているかを評価する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、象徴的トークンに依存せずに、視覚的コミュニケーションゲームにおいてどのようにグラフィカル慣習を進化させるのか？
• RQ2 進化したスケッチは、視覚的類似性（図像的）を保ちつつ、どの程度象徴的（任意の慣習）性を獲得できるのか？
• RQ3 進化したスケッチの埋め込み空間において、概念間の意味的関係は保持されているか？
• RQ4 初期意思決定や相互適応といった環境要因は、慣習の出現にどのように影響するか？
• RQ5 エージェントは、参照対象に対するなじみの深さに応じて、図像的表現と慣習的表現の間を動的に切り替えられるか？

主な発見

• 提案された強化学習フレームワークにより、送信者・受信者エージェントが連続的なスティックを用いて効果的な視覚的コミュニケーションへと共同で進化させることに成功した。
• 進化したスケッチは、図像的・象徴的特性の明確なトレードオフを示しており、エージェントは不要な特徴を徐々に抽象化しながらも、顕著な部分（例：雄鶏の冠、キリンの首）を保持している。
• 意味的構造が保持されている：t-SNE可視化により、意味的に類似したカテゴリ（例：牛、シカ、馬）が埋め込み空間で近接していることが確認され、スケッチとword2vec特徴の間の距離相関も有意であった。
• 完全な訓練設定は、リトリーブベースラインを上回り、スケッチと意味的埋め込み間のインスタンス間距離の相関が高いため、意味的構造の維持において優れていることが示された。
• スケッチの進化は非単調なパターンを示す：初期には複雑性が増加し、その後単純化される。これは、抽象化の前に探索段階が存在することを示唆している。
• エージェントは文脈依存的なコミュニケーションを示す：参照対象に対するなじみの深さに応じて、図像的スタイルと慣習的スタイルの間を動的に切り替えられ、視覚的慣習の適応的使用が可能である。