[論文レビュー] End-to-End Localization and Ranking for Relative Attributes

Krishna Kumar Singh, Yong Jae Lee|arXiv (Cornell University)|Aug 9, 2016

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 12

ひとこと要約

本稿では、弱教師付きのペアワイズ画像比較のみを用いて、相対的視覚的特徴の局所化とランク付けを同時に学習するエンドツーエンドのディーブコンボリューショナルネットワークを提案する。空間変換器を用いた領域局所化と、ペアワイズ損失を用いたシames型ランク付けネットワークを統合することで、従来のパイプラインベース手法よりも著しく高速でありながら、最先端のランク付け性能を達成した。

ABSTRACT

We propose an end-to-end deep convolutional network to simultaneously localize and rank relative visual attributes, given only weakly-supervised pairwise image comparisons. Unlike previous methods, our network jointly learns the attribute's features, localization, and ranker. The localization module of our network discovers the most informative image region for the attribute, which is then used by the ranking module to learn a ranking model of the attribute. Our end-to-end framework also significantly speeds up processing and is much faster than previous methods. We show state-of-the-art ranking results on various relative attribute datasets, and our qualitative localization results clearly demonstrate our network's ability to learn meaningful image patches.

研究の動機と目的

• パイプラインベース手法の相対的特徴学習における限界、すなわち共同最適化の欠如と高い計算コストを解消すること。
• ボクシングボックスやパーツレベルのアノテーションを必要とせず、特徴量、局所化、ランク付けをエンドツーエンドで学習可能にすること。
• 特徴強度のレベルにわたって一貫した視覚的コンセプトを仮定する必要をなくし、複数の判別性の高いパターンの発見を可能にすること。
• 各特徴に関連する高解像度の局所化された画像領域に注目することで、ランク付けの正確性を向上させること。

提案手法

• モデルは重み共有を用いたシames型ネットワークアーキテクチャを採用し、ペアワイズの画像とその相対的視覚的特徴の比較を入力として受ける。
• 各ブランチには、特徴に最も関連する画像領域を学習する空間変換器ネットワーク（STN）が含まれる。
• 局所化されたパッチは、ペアワイズランク付け損失を用いて相対的特徴強度のスコアを生成するランク付けモジュールに送られる。
• 対照的損失を用いて、画像ペアの正しい相対的順序が保たれるように、全ネットワークをエンドツーエンドで訓練する。
• 最終的なランク付けスコアは、グローバル画像特徴とSTNで局所化された領域特徴の組み合わせから計算される。
• STNにより微分可能な局所化が可能となり、局所化とランク付けの両方を同時に最適化するバックプロパゲーションが可能になる。

実験結果

リサーチクエスチョン

• RQ1 パーツレベルの教師信号を一切用いずに、エンドツーエンドの深層ネットワークが相対的視覚的特徴の局所化とランク付けを同時に学習可能か？
• RQ2 局所化とランク付けの共同最適化は、パイプライン手法と比較して性能を向上させるか？
• RQ3 一貫した視覚的コンセプトを仮定しない状態でも、モデルは特徴に対して複数の判別性の高い領域を発見可能か？
• RQ4 グローバル画像特徴のみを用いる場合と比較して、局所化された領域を組み込むことでランク付け性能は向上するか？
• RQ5 エンドツーエンド手法の計算速度は、従来の最先端のパイプラインベース手法と比較してどうか？

主な発見

• 提案手法は、LFW-10、UT-Zap50K、OSRの各データセットで最先端のランク付け精度を達成し、従来手法を大きく上回った。
• LFW-10データセットでは、平均ランク付け精度が86.91%に達し、グローバル画像ベースライン（82.51%）およびSTNオンativeベースライン（84.63%）を上回った。
• OSRデータセットでは、平均精度が97.02%に達し、前回最良手法（94.98%）を2.04ポイント上回った。
• アブレーションスタディの結果、グローバル画像特徴とSTNで局所化された領域特徴を組み合わせた場合が最も高い性能を示し、特に中程度のサイズの特徴やグローバル特徴に対して顕著であった。
• モデルは著しく高速である：1枚あたりの推論時間がわずか0.011秒であり、従来手法の1.1秒/枚と比べて顕著に短縮された。
• 定性的な結果から、STNが意味的に関連する領域（例：「笑顔」に対しては口、「目を開けている」に対しては目）を的確に局所化していることが示され、効果的な視覚的注目を実現している。