[論文レビュー] Towards Backward-Compatible Representation Learning

Yantao Shen, Yuanjun Xiong+2 more|arXiv (Cornell University)|Mar 26, 2020

Face recognition and analysis参考文献 44被引用数 5

ひとこと要約

本論文は、モデルのアーキテクチャ、損失関数、次元数が異なる場合でも、事前に計算された特徴量と互換性を保つことができる視覚的埋め込みを学習するためのバックワードコンパチブルトレーニング（BCT）を提案する。古いモデルの分類器を正則化子として新規モデルの学習に組み込むことで、新旧の埋め込み同士を直接比較可能とし、バックフィルの必要性を排除。精度を損なわせることなくバックフィルなしのモデル更新が可能となる。

ABSTRACT

We propose a way to learn visual features that are compatible with previously computed ones even when they have different dimensions and are learned via different neural network architectures and loss functions. Compatible means that, if such features are used to compare images, then "new" features can be compared directly to "old" features, so they can be used interchangeably. This enables visual search systems to bypass computing new features for all previously seen images when updating the embedding models, a process known as backfilling. Backward compatibility is critical to quickly deploy new embedding models that leverage ever-growing large-scale training datasets and improvements in deep learning architectures and training methods. We propose a framework to train embedding models, called backward-compatible training (BCT), as a first step towards backward compatible representation learning. In experiments on learning embeddings for face recognition, models trained with BCT successfully achieve backward compatibility without sacrificing accuracy, thus enabling backfill-free model updates of visual embeddings.

研究の動機と目的

• 埋め込みモデルを更新する際のバックフィルに起因するスケーラビリティのボトル neck を解消すること。
• オープンセット認識における継続的なモデルデプロイメントにおいて、バックワードコンパチブルな表現学習を明確に定式化すること。
• 新しい埋め込みと古い埋め込みを、アーキテクチャや損失関数の違いに関係なく直接比較可能にする学習フレームワークを開発すること。
• 大規模な視覚検索システムにおけるバックフィルなしの更新を可能とし、計算コストとデプロイ遅延を低減すること。
• 鎖状のBCTトレーニングにより、複数のモデルバージョン間で推移的（transitive）な互換性を達成すること。

提案手法

• 古い埋め込みモデルの分類器重みを正則化子として用いる影響損失（influence loss）を導入し、新規モデルの学習時に適用する。
• 新規モデルの予測を古いモデルの分類器の予測と一致させるように学習させ、埋め込み空間における互換性を確保する。
• 古いモデルの分類器をプロキシとして用い、特徴次元数の一致を必要とせずに、新規モデルの特徴学習をガイドすることで、コンパチビリティを維持する。
• BCTを鎖状に適用：モデル1を用いてモデル2をBCTで学習し、その後モデル2を用いてモデル3をBCTで学習することで、推移的コンパチビリティを達成する。
• 必要に応じて線形投影層を用いて特徴次元を一致させるが、次元数の一致がなくても直接的なコンパチビリティが達成可能である。
• IJB-C や Market-1501 などのベンチマークデータセットを用い、1対1の検証と平均平均精度（mAP）によりコンパチビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャや損失関数が異なる場合でも、新しい視覚的埋め込みモデルを、事前に計算された埋め込みと直接比較可能に学習できるか？
• RQ2 精度を著しく低下させることなく、どの程度バックワードコンパチビリティを達成できるか？
• RQ3 逐次的な学習によって、複数のモデルバージョンにわたるバックワードコンパチビリティを拡張できるか？
• RQ4 損失関数の種別や活性化関数などの要因がバックワードコンパチビリティを損なう場合があるのか。その原因を特定し、緩和策を講じられるか？
• RQ5 BCTは、トレーニングデータサイズ、モデルアーキテクチャ、埋め込み次元数の変更に対しても頑健であるか？

主な発見

• BCTは最小限の精度損失でバックワードコンパチブルな表現学習を可能とし、IJB-C では旧モデルと新モデルの比較で45.0%の平均mAPを達成。BCTなしでは26.7%にとどまる。
• BCTで学習した新規モデルは、Market-1501 で60.1%のmAPを達成し、バックワードコンパチブルでないモデルと同等の性能を示しており、精度の損失がないことが実証された。
• 推移的コンパチビリティが達成された：過去のバージョンと直接学習していないが、BCTで前のバージョンと学習したモデルは、より前のモデルともコンパチブルである。
• アブレーションスタディにより、BCTがモデルアーキテクチャ、損失関数、データスケールの変化に対し、複数の要因を同時に維持可能なことが示された。
• コサインマージン損失とソフトマックス損失を併用する場合や、ReLU活性化関数を追加すると失敗ケースが生じ、分布のシフトがコンパチビリティを破壊する可能性があることが判明。
• 本手法により、視覚検索システムにおけるバックフィルの必要性が完全に排除され、大規模なリtrievalアプリケーションにおいてバックフィルなしのモデル更新が可能となった。