[論文レビュー] Deep Embedding for Spatial Role Labeling

Oswaldo Ludwig, Xiao Liu+2 more|arXiv (Cornell University)|Mar 28, 2016

Multimodal Machine Learning Applications参考文献 10被引用数 10

ひとこと要約

本稿では、COCOデータセットの画像・テキストペアを用いて学習された視覚的インフォームド単語埋め込み（VIEW）を提案し、空間的役割ラベル付け（SpRL）を向上させる。深層LSTM-MLPアーキテクチャを用い、物体のバウンディングボックスから空間的意味を抽出する連続的単語表現を学習することで、ベースライン特徴量およびWord2Vecと比較して、特徴選択とF1スコア最適化のためのファインチューニングを組み合わせた場合、F1スコアを最大10.5%向上させた。

ABSTRACT

This paper introduces the visually informed embedding of word (VIEW), a continuous vector representation for a word extracted from a deep neural model trained using the Microsoft COCO data set to forecast the spatial arrangements between visual objects, given a textual description. The model is composed of a deep multilayer perceptron (MLP) stacked on the top of a Long Short Term Memory (LSTM) network, the latter being preceded by an embedding layer. The VIEW is applied to transferring multimodal background knowledge to Spatial Role Labeling (SpRL) algorithms, which recognize spatial relations between objects mentioned in the text. This work also contributes with a new method to select complementary features and a fine-tuning method for MLP that improves the $F1$ measure in classifying the words into spatial roles. The VIEW is evaluated with the Task 3 of SemEval-2013 benchmark data set, SpaceEval.

研究の動機と目的

• マルチモーダルデータから空間的知識を転送することで、空間的役割ラベル付け（SpRL）のパフォーマンスを向上させること。
• 画像アノテーションから空間的関係を符号化する視覚的基盤の単語埋め込み（VIEW）を構築すること。
• 学習されたマルチモーダル特徴をSpRLモデルに統合しつつ、人間が設計した言語的特徴を維持すること。
• 構造予測設定において、特徴選択とF1スコア最適化のための新規ファインチューニング手法を実装すること。

提案手法

• COCOデータセットの画像・キャプションペアを用いて、埋め込み層、LSTM、スタックドMLPからなる深層ニューラルネットワークを訓練し、空間的配置を予測する。
• 画像アノテーションの物体バウンディングボックス座標を空間的監視として用い、ネットワークを学習させ、空間的文脈を反映する単語埋め込みを生成する。
• バックプロパゲーションにより深層アーキテクチャを通して学習された連続的ベクトル表現としてVIEWを抽出する。
• SpRLモデルにおける語彙表現を豊かにするために、VIEWを既存の言語的特徴（例：品詞、依存関係パス）と連結する。
• F1スコア向上を最大化する100個の補完的VIEW特徴を選択する特徴選択手法を適用する。
• 構造予測設定において適合率と再現率のバランスを最適化するF1スコア最適化ファインチューニング手順を実装する。

実験結果

リサーチクエスチョン

• RQ1 画像・テキストペアからのマルチモーダル学習は、テキスト内の空間的役割表現を向上させることができるか？
• RQ2 視覚的インフォームド単語埋め込み（VIEW）は、標準的なWord2Vecを上回る性能を示すか？
• RQ3 補完的特徴選択とF1最適化ファインチューニングにより、さらにSpRLのパフォーマンスが向上するか？
• RQ4 VIEWは、SemEval-2013 SpaceEvalベンチマークにおいて、F1スコアをどの程度向上させるか？

主な発見

• 特徴選択とF1最適化を経た後、VIEWにより空間的役割ラベル付けのF1スコアが、元の特徴量の0.724から0.749に向上した。
• ランドマーク役割のF1スコアは0.509から0.678に上昇し、相対的に33%の改善を達成した。
• VIEWはWord2Vecを上回り、空間的インジケーター役割のF1スコアが0.749（VIEW）対0.719（Word2Vec）で0.030高い結果を示した。
• VIEWと特徴選択、F1最適化の組み合わせが、全役割において最高のF1スコアを達成し、空間的インジケーター役割で0.749の最高値を記録した。
• 構造予測設定において、トリプレット（sp,tr,lm）のF1スコアは0.235から0.235に維持されたが、個々の役割のパフォーマンスが向上した。
• 本手法は低リソース環境でも頑健であり、COCOデータセットのオブジェクトカテゴリの多様性が限定的（91カテゴリ）であった場合でも、向上効果を示した。