[論文レビュー] Semantic Regularisation for Recurrent Image Annotation

Feng Liu, Tao Xiang+3 more|arXiv (Cornell University)|Nov 16, 2016

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本論文では、CNNの予測された意味的コンセプトをCNNとRNNの間の画像埋め込みインターフェースとして用いることで、再帰的画像注釈における意味的正則化を提案する。これにより、ラベル予測と相関モデリングの二重の負担をRNNから分離し、エンドツーエンドの訓練をより高速かつ安定化する。マルチラベル分類および画像キャプションの両タスクで、モデルアンサンブルや補助データを用いずに最先端の性能を達成する。

ABSTRACT

The "CNN-RNN" design pattern is increasingly widely applied in a variety of image annotation tasks including multi-label classification and captioning. Existing models use the weakly semantic CNN hidden layer or its transform as the image embedding that provides the interface between the CNN and RNN. This leaves the RNN overstretched with two jobs: predicting the visual concepts and modelling their correlations for generating structured annotation output. Importantly this makes the end-to-end training of the CNN and RNN slow and ineffective due to the difficulty of back propagating gradients through the RNN to train the CNN. We propose a simple modification to the design pattern that makes learning more effective and efficient. Specifically, we propose to use a semantically regularised embedding layer as the interface between the CNN and RNN. Regularising the interface can partially or completely decouple the learning problems, allowing each to be more effectively trained and jointly training much more efficient. Extensive experiments show that state-of-the art performance is achieved on multi-label classification as well as image captioning.

研究の動機と目的

• 画像注釈のためのCNN-RNNモデルにおける、遅く不安定なエンドツーエンド訓練の課題に対処すること。
• RNNが視覚的コンセプトの予測とそれらの相関のモデリングの両方を担うという二重の負担を、意味的に意味のあるインターフェース層を導入することで分離すること。
• CNNの予測層の意味的正則化によるディープな監視を通じて、勾配の安定化と特徴学習の向上を実現し、訓練の安定性と収束速度を向上させること。
• モデルアンサンブルや補助学習データを一切用いずに、画像キャプションおよびマルチラベル分類で最先端の性能を達成すること。

提案手法

• CNNとRNNの間のインターフェースとして、意味的に正則化された埋め込み層を導入し、画像埋め込みにCNNの予測された意味的コンセプト（生の特徴ではなく）を用いる。
• CNNが視覚的コンセプトの予測（意味的監視）と画像表現の符号化を同時に学習するマルチタスク学習を実施する。
• RNNの初期隠れ状態入力として、CNNの最終予測層の出力（特徴マップではなく）を用いることで、意味的な意味の明確さを保証する。
• CNNが真のラベルを直接予測するように訓練することでディープな監視を実施し、勾配の安定化と特徴学習の向上を図る。
• RNNおよび正則化されたCNNの両方をバックプロパゲーションで同時に学習することで、エンドツーエンドの訓練を実現し、収束を高速化する。
• CNNバックボーンにInception-V3、RNNにLSTMを用い、モデルアンサンブルや外部キャプションデータを一切使用しない。

実験結果

リサーチクエスチョン

• RQ1 CNNの予測層に対する意味的正則化は、CNN-RNN画像注釈モデルにおける訓練効率と性能を向上させるか？
• RQ2 CNNの予測された意味的コンセプトを画像埋め込みインターフェースとして用いることで、RNNの負担が軽減され、構造的予測性能が向上するか？
• RQ3 意味的正則化によるディープな監視は、標準的な特徴ベースのインターフェースと比較して、収束速度および最終的な性能において優れているか？
• RQ4 意味的正則化を施した単一モデルアーキテクチャは、アンサンブルベースのモデルを上回る性能を画像キャプションベンチマークで示せるか？

主な発見

• 提案モデルはMS-COCOで最先端の性能を達成し、CIDEr、METEOR、ROUGE、B-4を含む14の評価指標すべてで5つの強力なベースラインを上回った。
• COCO検証セットではCIDErスコアが1.054を達成し、ベースラインのNIC-Fモデル（0.932）と比較して7%の向上を示し、意味的正則化の重要性を裏付けた。
• 単一のTitan X GPUで2日間で収束するなど、訓練効率が著しく向上した。これは、NICv2の1メンバーあたり20日以上を要するのと比べ顕著である。
• モデルアンサンブルや補助データを一切使用しないにもかかわらず、公式MS-COCO評価サーバーで39件の提出中5位にランクインし、優れた一般化性能と頑健性を示した。
• アブレーションスタディにより、意味的正則化が性能向上に顕著に寄与していることが確認された。CIDErにおけるNIC-Fと完全モデルの差は7%であり、予測層を埋め込みとして用いることが最適な結果を得る上で不可欠であることがわかった。