[論文レビュー] Constructing Hierarchical Image-tags Bimodal Representations for Word Tags Alternative Choice

Fangxiang Feng, Ruifan Li+1 more|arXiv (Cornell University)|Jul 4, 2013

Natural Language Processing Techniques参考文献 15被引用数 11

ひとこと要約

本論文は、スタックドRBMsとバイモーダルオートエンコーダーを用いて、3段階の表現レベルにおけるクロスモーダル類似性を学習する階層的バイモーダル表現フレームワークを提案する。本手法は、データ固有のタグ選択戦略を活用することで、ICML 2013マルチモーダル学習チャレンジで1位となり、プライベートテストセットで平均100%の正確性を達成した。

ABSTRACT

This paper describes our solution to the multi-modal learning challenge of ICML. This solution comprises constructing three-level representations in three consecutive stages and choosing correct tag words with a data-specific strategy. Firstly, we use typical methods to obtain level-1 representations. Each image is represented using MPEG-7 and gist descriptors with additional features released by the contest organizers. And the corresponding word tags are represented by bag-of-words model with a dictionary of 4000 words. Secondly, we learn the level-2 representations using two stacked RBMs for each modality. Thirdly, we propose a bimodal auto-encoder to learn the similarities/dissimilarities between the pairwise image-tags as level-3 representations. Finally, during the test phase, based on one observation of the dataset, we come up with a data-specific strategy to choose the correct tag words leading to a leap of an improved overall performance. Our final average accuracy on the private test set is 100%, which ranks the first place in this challenge.

研究の動機と目的

• 複数のレベルにわたる階層的表現を構築することで、画像タグアノテーションにおけるマルチモーダル学習チャレンジに取り組む。
• 画像とタグ間のクロスモーダル関係をモデル化することで、タグ語の選択正確性を向上させる。
• 観察されたデータセットのパターンに基づき、推論時に正しいタグ語を選択するデータ固有の戦略を開発する。
• ICML 2013マルチモーダル学習チャレンジにおける画像タグアノテーションで最先端のパフォーマンスを達成する。
• MPEG-7、gistなどの画像記述子と、テキストのバッグオブワード特徴を統合し、統一されたバイモーダル学習フレームワークを構築する。

提案手法

• レベル1の表現は、MPEG-7およびgist画像記述子に、コンテストで提供された特徴を組み合わせて構築され、タグ語は4000語の辞書に基づくバッグオブワードモデルで符号化される。
• レベル2の表現は、画像モダリティ用とテキストモダリティ用の2つのスタックド制限付きボルツマンマシン（RBMs）を用いて学習され、階層的特徴を捉える。
• レベル3の表現は、画像-タグペア間のペairwise類似性および相違性をモデル化するバイモーダルオートエンコーダーを用いて学習される。
• テスト段階では、データセットに観察されたパターンに基づいたデータ固有の戦略が適用され、最も正確なタグ語が選択される。
• 全フレームワークは、3段階の表現レベルにわたるクロスモーダル意味的関係を保持することを重視して、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 画像とテキストモダリティの間で、効果的に階層的表現を構築する方法は何か？
• RQ2 画像と関連タグ間の最適なクロスモーダル関係のモデル化法は何か？
• RQ3 データ固有のタグ選択戦略は、マルチモーダル学習ベンチマークでのパフォーマンスを顕著に向上させ得るか？
• RQ4 スタックドRBMsとバイモーダルオートエンコーダーは、識別的な画像-タグ表現を学習するためにどのように寄与するか？
• RQ5 学習されたバイモーダル表現は、従来の単一モダリティまたは非階層的アプローチに比べて、画像タギングにおいてどの程度優れているか？

主な発見

• 提案手法は、ICML 2013マルチモーダル学習チャレンジのプライベートテストセットで100%の平均正確性を達成した。
• バイモーダルオートエンコーダーの使用により、レベル3表現段階で画像-タグペア間の類似性および相違性が効果的に捉えられた。
• スタックドRBMsは、レベル2表現段階で画像およびテキストモダリティの両方の深層階層的特徴を効果的に学習した。
• データ固有のタグ選択戦略は、最良のパフォーマンスを達成する上で不可欠であったことが示され、強力なデータセット固有のパターンが利用可能であったことが裏付けられた。
• MPEG-7、gist、およびバッグオブワード特徴を学習済み表現と統合することで、ベースライン手法に比べて優れたパフォーマンスが達成された。