[論文レビュー] Learning to generalize to new compositions in image understanding

Yuval Atzmon, Jonathan Berant+3 more|arXiv (Cornell University)|Aug 27, 2016

Multimodal Machine Learning Applications参考文献 27被引用数 53

ひとこと要約

本稿では、既知のエンティティの未知の組み合わせへの一般化を向上させるために、主語ー関係ー目的語（SRO）トリプレットを用いた構造的表現アプローチを提案する。MS-COCOの構成的スプリットにおいて、標準的なLSTMベースのキャプション生成モデル（Show, Attend and Tell）と構造的予測モデルを比較した結果、未知の構成に対して約7倍高い精度を達成し、優れた構成的一般化性能を示した。

ABSTRACT

Recurrent neural networks have recently been used for learning to describe images using natural language. However, it has been observed that these models generalize poorly to scenes that were not observed during training, possibly depending too strongly on the statistics of the text in the training data. Here we propose to describe images using short structured representations, aiming to capture the crux of a description. These structured representations allow us to tease-out and evaluate separately two types of generalization: standard generalization to new images with similar scenes, and generalization to new combinations of known entities. We compare two learning approaches on the MS-COCO dataset: a state-of-the-art recurrent network based on an LSTM (Show, Attend and Tell), and a simple structured prediction model on top of a deep network. We find that the structured model generalizes to new compositions substantially better than the LSTM, ~7 times the accuracy of predicting structured representations. By providing a concrete method to quantify generalization for unseen combinations, we argue that structured representations and compositional splits are a useful benchmark for image captioning, and advocate compositional models that capture linguistic and visual structure.

研究の動機と目的

• 最先端の画像キャプション生成モデルが、既知の視覚的エンティティおよび関係の未知の組み合わせに対して一般化が著しく劣ることを解決すること。
• 構成的データスプリットを用いて、視覚から言語へのタスクにおける構成的一般化を評価するベンチマークを提案すること。
• SROトリプレットに基づく構造的予測モデルが、再帰的モデルよりも未知の構成に対して著しく優れた一般化性能を示すことを実証すること。
• 画像キャプションにおける構成的一般化を、標準的なクラス内一般化から分離・定量すること。

提案手法

• 著者らは、画像キャプションをSROトリプレット（主語ー関係ー目的語）にマッピングすることで、画像記述のコンパクトで解釈可能な構造的表現を構築した。
• 訓練集合とテスト集合に共通のSROトリプレットが存在しない構成的データスプリットを導入し、テスト例が既知のエンティティの新しい組み合わせを含むようにした。
• 構造的SVM（SSVM）を用いて、SROトリプレットを同時に予測する構造的予測モデルを訓練した。スコア関数はノード項とペairwise項に分解される：$ f(s,r,o) = w_S f_S(s) + w_O f_O(o) + w_R f_R(r) + w_{SR} f_{SR}(s,r) + w_{RO} f_{RO}(r,o) $。
• 特徴量には、オブジェクト検出スコア、空間的関係（位置、距離、角度、重複度）、および訓練データからの関係、主語-関係/目的語-関係ペアのバイグラム確率を含めた。
• 特徴量は正規化され、SROトリプレットの予測誤差を最小化するため、Hinge損失を用いてエンドツーエンドでモデルを訓練した。
• 視覚的検出ラベルとキャプション用語の間のマッピングは、ポイントワイズ相互情報量（PMI）を用い、意味的整合性を保つために手動でのプルーニングを実施した。

実験結果

リサーチクエスチョン

• RQ1 最先端の画像キャプション生成モデルは、既知の視覚的エンティティおよび関係の未知の組み合わせに対してどの程度一般化するか？
• RQ2 SROトリプレットのような構造的表現は、画像キャプションにおける構成的一般化の評価と測定をより良く可能にするか？
• RQ3 構造的予測モデルは、再帰的アテンションモデルよりも未知の構成への一般化で優れているか？
• RQ4 構成的スプリットは、標準的なMS-COCOスプリットでは見えない一般化のギャップをどの程度明らかにするか？

主な発見

• 構造的予測モデルは構成的テストスプリットで約14%の精度を達成した一方、LSTMベースのShow, Attend and Tellモデルはわずか~2%の精度にとどまり、構成的一般化において約7倍の性能差が生じた。
• LSTMモデルは標準的なMS-COCOスプリットでは構造的モデルと同等の性能を示したが、構成的スプリットでは著しく失敗しており、新しい組み合わせへの一般化に深刻な欠陥があることが浮き彫りになった。
• 構成的スプリットは、未知のエンティティの組み合わせへの一般化を効果的に分離・測定でき、現在のエンドツーエンドキャプションモデルの限界を明らかにした。
• 構造的モデルの性能が著しく優れているのは、学習された特徴量重みとペairwiseポテンシャルを通じて、構成的構造を明示的にモデル化しているためである。
• SROトリプレットの使用により、トリプレットレベルの精度を直接かつ正確に評価でき、より解釈可能で定量的なベンチマークが可能になった。
• 結果から、言語的および視覚的構造を明示的にモデル化することが、視覚から言語へのタスクにおける頑健な一般化に不可欠であることが示唆された。