[論文レビュー] Weakly Supervised Attention Learning for Textual Phrases Grounding

Zhiyuan Fang, Shu Kong+2 more|arXiv (Cornell University)|May 1, 2018

Multimodal Machine Learning Applications参考文献 11被引用数 7

ひとこと要約

本論文は、正則化された二重池化とエンドツーエンド学習を用いて、ピクセル単位のアノテーションなしで画像内のテキストフレーズの局所化を可能にする弱教師付きアテンション学習手法を提案する。合成されたマルチ-MNISTデータセット上で最大67.07%のIoUを達成し、リソースが限られた環境下でも頑健性と一般化性能を示す。

ABSTRACT

Grounding textual phrases in visual content is a meaningful yet challenging problem with various potential applications such as image-text inference or text-driven multimedia interaction. Most of the current existing methods adopt the supervised learning mechanism which requires ground-truth at pixel level during training. However, fine-grained level ground-truth annotation is quite time-consuming and severely narrows the scope for more general applications. In this extended abstract, we explore methods to localize flexibly image regions from the top-down signal (in a form of one-hot label or natural languages) with a weakly supervised attention learning mechanism. In our model, two types of modules are utilized: a backbone module for visual feature capturing, and an attentive module generating maps based on regularized bilinear pooling. We construct the model in an end-to-end fashion which is trained by encouraging the spatial attentive map to shift and focus on the region that consists of the best matched visual features with the top-down signal. We demonstrate the preliminary yet promising results on a testbed that is synthesized with multi-label MNIST data.

研究の動機と目的

• 教師付き視覚的局所化において高価なピクセル単位のアノテーションが要求される課題に対処すること。
• 画像レベルまたはフレーズレベルのラベルのみを用いて、柔軟な弱教師付きのフレーズ局所化を可能にすること。
• 微細なアノテーションが限られたドメインへの一般化性能と移行性を向上させること。
• アテンションマップと特徴表現を同時に最適化するエンドツーエンドで学習可能なアーキテクチャの開発。
• 合成マルチラベルMNISTデータセット上で本手法の妥当性と頑健性を示すための評価。

提案手法

• 画像からグローバルな視覚的特徴を抽出するために事前学習済みのResNet-18バックボーンを用いる。
• 二重池化に基づくアテンションモジュールを適用し、視覚的特徴とテキスト的特徴から空間的アテンションマップを生成する。
• テキスト埋め込みを視覚的特徴の次元に拡張し、マルチモodal二重池化（MCB）を用いて統合する。
• 分類用のクロスエントロピー損失と、クラス間分散の向上とクラス内コンパクト性の強化を目的とした特徴学習損失を組み合わせたジョイント損失で、モデルをエンドツーエンドで学習する。
• アテンションマップにL2正則化を適用し、スパarsityを促進し、顕著な領域に注目するようにする。
• ボクセルボックスアノテーションが存在しない状況でも、入力フレーズに一致する領域に注目できる弱教師付き信号を用いる。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のアノテーションが不要な状況でも、弱教師付き手法が正確なテキストフレーズ局所化を達成できるか？
• RQ2 正則化された二重池化は、関連する画像領域を局所化するアテンションマップを効果的に生成できるか？
• RQ3 事前学習済みバックボーンの微調整は、初期学習から訓練する場合と比較して収束性と性能を向上させるか？
• RQ4 入力フレーズが画像内に存在しない場合、モデルはどのように一般化するか？
• RQ5 特徴学習損失は、視覚的特徴表現の識別性をどの程度向上させるか？

主な発見

• バックボーンの微調整を実施した場合、マルチ-MNISTデータセットで平均IoUが67.07%に達し、強力な局所化精度を示している。
• IoU閾値0.5におけるmAPが71.53%に達し、弱教師付き条件下でも強力なフレーズ局所化性能を示している。
• 事前学習済みバックボーンの微調整は収束を早めるが、初期学習から訓練した場合と最終的な性能は同等に近い。
• 入力フレーズが画像内に存在しない場合、アテンションマップはほぼ空白のままとなり、誤検出の抑制が可能であることが確認された。
• 図3のマルチクエリ結果から、1枚の画像内で複数のフレーズを効果的に局所化できていることが示された。
• 特徴学習損失は、クラス間分離性の向上とクラス内コンパクト性の強化に寄与し、特徴表現の質が向上した。