[論文レビュー] Google Landmark Recognition 2020 Competition Third Place Solution

Qishen Ha, Bo Liu+2 more|arXiv (Cornell University)|Oct 11, 2020

Multimodal Machine Learning Applications参考文献 3被引用数 9

ひとこと要約

本論文は、グローバル特徴量のみのサブセンターArcFaceモデルのアンサンブルを用いて、Google Landmark Recognition 2020コンペティションで3位となったソリューションを提示する。ArcFace損失に動的マージンを導入し、クラスサイズに応じた連続関数として定義することで、不均衡なGLDv2データセットにおける性能を向上させた。さらに、プログレッシブな微調整と段階的な後処理を組み合わせ、プライベートリーダーボードスコア0.6344を達成した。

ABSTRACT

We present our third place solution to the Google Landmark Recognition 2020 competition. It is an ensemble of global features only Sub-center ArcFace models. We introduce dynamic margins for ArcFace loss, a family of tune-able margin functions of class size, designed to deal with the extreme imbalance in GLDv2 dataset. Progressive finetuning and careful postprocessing are also key to the solution. Our two submissions scored 0.6344 and 0.6289 on private leaderboard, both ranking third place out of 736 teams.

研究の動機と目的

• GLDv2データセットにおける極端なクラス不均衡がモデルの収束性と一般化性能に与える影響を軽減する。
• ArcFaceの定数マージンを、クラスサイズに依存する適応的マージンに置き換えることで、グローバル特徴量のみのモデルの性能を向上させる。
• プログレッシブな微調整スケジュールを用いることで、大規模かつ長尾型のデータセットにおける学習効率とモデル一般化性能を最適化する。
• パwrベースの後処理により、特徴類似度検索とArcFaceヘッドスコアを統合することで、推論精度を向上させる。
• 最近のバックボーンモデルの進展を踏まえると、このタスクにおいて局所特徴量はグローバル特徴量を上回る性能を発揮しないことを実証する。

提案手法

• クラスサイズの連続関数として定義されるArcFace損失のための動的マージンを提案：$ f(n) = a \cdot n^{-\lambda} + b $、ここで $ n $ はクラスサイズ、$ a, b, \lambda $ は調整可能なパラメータ。
• ランドマーク画像内のクラス内変動をよりよく捉えるために、1クラスあたり $ K=3 $ 個のサブセンターを用いたサブセンターArcFaceを採用。
• 3段階のプログレッシブな微調整戦略を実装：256pxで410万枚の画像で事前学習、512–768pxで320万枚の画像で微調整、さらに672–1024pxで追加の微調整。
• 水平反転、圧縮、シフト、スケーリング、回転、カットアウトを含むデータオーグメンテーションを適用するが、性能を低下させる過剰なオーグメンテーションは回避。
• 後処理として、コサイン類似度に8乗関数を適用したトップ-k近傍予測の統合を実施し、その後、ArcFaceヘッドスコアの12乗融合によるさらに精緻な微調整を実施。
• 多様性のある2つのアンサンブルを構築：標準的な微調整を用いた7モデルのアンサンブルと、追加の微調整エポックおよびモデルバリアントを含む9モデルのアンサンブル。

実験結果

リサーチクエスチョン

• RQ1 最近のバックボーンモデルの進展を踏まえると、グローバル特徴量のみのモデルがハイブリッドグローバル-ローカルモデルを上回る性能を発揮できるか？
• RQ2 ArcFace損失は、GLDv2のような長尾型データセットにおける極端なクラス不均衡に対応できるか？
• RQ3 小規模クラスと大規模クラスの両方における一般化性能を向上させる最適な動的マージン関数は何か？
• RQ4 複数の画像解像度を経てプログレッシブに微調整することで、大規模ランドマーク認識タスクにおけるモデル性能にどのような影響を与えるか？
• RQ5 特徴類似度とArcFaceログティトスコアを統合する後処理は、最終的な推論精度をどの程度向上させ得るか？

主な発見

• 最良の動的マージン関数である $ n^{-1/4} $（下限0.05、上限0.5）を用いることで、ResNet-B0モデルにおいて定数マージンベースライン比でバリデーションGAPが0.025向上した。
• アンサンブル1はプライベートリーダーボードスコア0.6289、パブリックスコア0.6604を達成し、3位となった。
• アンサンブル2はより高いプライベートスコア0.6344、パブリックスコア0.6581を達成し、同様に3位となった。
• トップ5近傍類似度に8乗融合を適用した後処理により、最良の単一モデルのプライベートスコアが0.5859から0.6040に向上した。
• ArcFaceヘッドスコアを12乗融合で統合することで、最良の単一モデルのスコアはプライベートリーダーボードで0.6244にまで上昇した。
• DELGのような局所特徴量モデルはアンサンブル性能を向上させず、先進的なアーキテクチャと損失の適応によりグローバル特徴量が十分に有効であることが確認された。