[論文レビュー] Supporting large-scale image recognition with out-of-domain samples

Christof Henkel, Philipp Singer|arXiv (Cornell University)|Oct 4, 2020

Advanced Image and Video Retrieval Techniques参考文献 10被引用数 5

ひとこと要約

本論文は、アーキ・マージン損失と外部ドメイン画像の再ランク付けを用いたグローバルCNN埋め込みを用いた、大規模画像認識のエンドツーエンド手法を提示する。非ランドマーク画像の類似度スコアをペナルティ化することで、状態の最良性能を達成し、2020年Googleランドマーク認識チャレンジで1位を獲得し、公開GAPスコアは0.6824を記録した。

ABSTRACT

This article presents an efficient end-to-end method to perform instance-level recognition employed to the task of labeling and ranking landmark images. In a first step, we embed images in a high dimensional feature space using convolutional neural networks trained with an additive angular margin loss and classify images using visual similarity. We then efficiently re-rank predictions and filter noise utilizing similarity to out-of-domain images. Using this approach we achieved the 1st place in the 2020 edition of the Google Landmark Recognition challenge.

研究の動機と目的

• 極度に不均衡なクラスと高い外部ドメイン画像の存在を伴う大規模インスタンスレベル画像認識の課題に対処する。
• Googleランドマークデータセットv2 CLEAN上で、ランドマークと非ランドマークを効果的に区別することで、ランク付け性能を向上させる。
• 既知の外部ドメイン（非ランドマーク）画像との類似度に基づいて予測をペナルティ化する、頑健な再ランク付け戦略を開発する。
• 多様なCNNバックボーンと統一された再ランク付けパイプラインを用いて、2020年Googleランドマーク認識コンペティションで最良のパフォーマンスを達成する。

提案手法

• アーキ・マージン損失を用いて、複数のCNNバックボーン（SE-ResNeXt101、EfficientNet B3、ResNet152、Res2Net101）を訓練し、画像を512次元の特徴空間に埋め込む。
• 一般化平均（GeM）プーリングを適用し、その後にシンプルなネック（Linear + BatchNorm + PReLU）を用いて正規化された画像埋め込みを生成する。
• テスト画像と候補画像間の類似度（A）を、候補画像が既知の非ランドマーク画像との平均類似度（B）でペナルティ化する再ランク付け手順を適用する。
• テスト、学習、非ランドマークセットの埋め込み分布を分位数変換器を用いて正規化し、類似度スコアの安定性を向上させる。
• L2正規化された埋め込みを連結してモデルアンサンブル化し、統一された再ランク付けパイプラインを組み合わせ表現に適用する。
• 各画像について類似度上位3つの候補を用い、同じランドマークのスコアを合算し、上位10個の非ランドマーク画像との類似度を用いて最終的な信頼度ペナルティを適用する。

実験結果

リサーチクエスチョン

• RQ1 外部ドメイン（非ランドマーク）画像をどのように効果的に活用することで、大規模インスタンスレベル認識におけるランク付け性能を向上させることができるか？
• RQ2 既知の非ランドマーク画像との類似度に基づく再ランク付けは、不均衡なデータセットにおけるグローバル平均精度（GAP）をどの程度向上させるか？
• RQ3 大規模ランドマーク認識タスクにおいて、局所的記述子に依存する手法と比較して、グローバル画像埋め込みのみで十分な性能を達成できるか？
• RQ4 多様なバックボーンと学習設定を用いたモデルアンサンブルは、ランドマーク認識における頑健性と一般化性能をどのように向上させるか？

主な発見

• 提案された再ランク付け手法は、テスト画像がランドマークであっても、既知の非ランドマーク画像と類似している予測に対してペナルティを科すことで、GAPを顕著に向上させた。
• 異なるバックボーンと学習ハイパーパramータを用いた7つのモデルのアンサンブルは、公開リーダーボードスコア0.6824、プライベートスコア0.6598を達成した。
• DELG や SuperPoint などの局所的記述子モデルは、計算コストが高く、性能向上がほとんど見られず、最終的に除外された。
• GLDv1 での事前学習は性能向上に寄与せず、最終的なソリューションにおいては不要であることが判明した。
• テスト、学習、非ランドマーク埋め込み分布の間で分位数正規化を適用することで、スコアの安定性と類似度の一貫性が向上した。
• 最終的なソリューションは、オブジェクト検出やカテゴリ頻度ペナルティに依存せず、外部ドメインの監視に基づく類似度ベースの再ランク付けにのみ依存することで、最先端のパフォーマンスを達成した。