[論文レビュー] Towards a General Model of Knowledge for Facial Analysis by Multi-Source Transfer Learning

Valentin Vielzeuf, Alexis Lechervy+2 more|arXiv (Cornell University)|Nov 8, 2019

Face recognition and analysis参考文献 67被引用数 5

ひとこと要約

本稿では、顔認識のための2段階のマルチソース転移学習フレームワークを提案する。まず、共有オートエンコーダーを用いて複数の事前学習済みモデルを共有埋め込みに統合し、次にその知識を軽量な学生モデルに蒸留する。得られたモデルは、わずか200万パラメータで15の多様な顔認識タスクで最先端の性能を達成しており、教師モデルに比べ75倍も少ない。これは、優れた汎化性能と実世界への適用可能性を示している。

ABSTRACT

This paper proposes a step toward obtaining general models of knowledge for facial analysis, by addressing the question of multi-source transfer learning. More precisely, the proposed approach consists in two successive training steps: the first one consists in applying a combination operator to define a common embedding for the multiple sources materialized by different existing trained models. The proposed operator relies on an auto-encoder, trained on a large dataset, efficient both in terms of compression ratio and transfer learning performance. In a second step we exploit a distillation approach to obtain a lightweight student model mimicking the collection of the fused existing models. This model outperforms its teacher on novel tasks, achieving results on par with state-of-the-art methods on 15 facial analysis tasks (and domains), at an affordable training cost. Moreover, this student has 75 times less parameters than the original teacher and can be applied to a variety of novel face-related tasks.

研究の動機と目的

• 複数の事前学習済み顔認識モデルからの知識を統合し、1つの汎用的モデルに統合する課題に対処すること。
• 冗長性を低減しながら補完的情報を保持する、効率的なマルチソース知識統合手法を開発すること。
• 多様な顔認識タスクにわたる汎化性能が教師モデルを上回る、軽量で実装可能な学生モデルを作成すること。
• 複数のドメインやモodalitiesをカバーする15の多様な顔認識タスクにおいて、手法の有効性を検証すること。

提案手法

• 複数のソースモデルの埋め込みを統一された低次元の共通表現に投影するため、共有オートエンコーダーを大規模な教師なしデータセット上で訓練する。
• 融合プロセスでは、オートエンコーダーのボトルネック層を活用した学習可能な結合演算子を用い、複数のソース表現からコンactな情報豊富な埋め込みを生成する。
• 融合された知識をアンサンブル教師モデルから軽量な学生畳み込みニューラルネットワークに知識蒸留する。
• 学生モデルは、ターゲットタスクにおける融合教師の出力を模倣するように訓練され、最小限のパラメータで高い性能を達成する。
• 圧縮と蒸留を2段階に分離することで、訓練の安定性と性能を向上させる。
• 本手法は、顔認識タスク15個にわたるアブレーションスタディを用いて評価されている。タスクには識別、属性予測、感情分析が含まれる。

実験結果

リサーチクエスチョン

• RQ1 複数の事前学習済み顔認識モデルから、多様なタスクにわたる汎化性能を向上させるための統一された埋め込みを学習可能か？
• RQ2 共有オートエンコーダーを用いた複数ソースモデルの統合は、単純な連結や選択的モデル選択に比べ、マルチソース転移学習で優れているか？
• RQ3 統合されたマルチソース教師から知識蒸留することで、新規タスクで教師を上回る性能を発揮する軽量な学生モデルが得られるか？
• RQ4 統合埋め込みの次元数は、再構成精度と下流タスクの転移性能にどのように影響するか？
• RQ5 多数のソースおよびターゲットタスクにスケーリングする際、訓練効率とモデル性能のトレードオフはどのようなものか？

主な発見

• 提案手法は、顔認識、属性予測、感情分析を含む15の多様な顔認識タスクで、最先端の手法と同等の性能を達成した。
• 蒸留された学生モデルは、わずか200万パラメータ（元の教師モデルの75倍少ない）でありながら、大多数のターゲットタスクで教師モデルを上回った。
• 共有オートエンコーダーを用いた融合手法（$\mathcal{G}$ と表記）は、単純な連結やモデル選択のベースラインを著しく上回り、特にリソースが限られたターゲットドメインで顕著な優位性を示した。
• アブレーションスタディにより、ソース埋め込みの次元削減が汎化性能を向上させること、および最適な埋め込みサイズがタスクごとに異なることが確認された。
• 2段階訓練プロセス（圧縮 → 蒸留）は、エンドツーエンドのファインチューニングに比べて優れた性能を発揮し、ブルートフォースなモデル結合に比べて総合的な訓練時間を4倍短縮した。
• 本手法により、効率的な転移学習が可能になった。教師なしデータセットでの訓練は約70時間で完了したが、その後の転移ステップは、初期から訓練するのと比べて著しく高速であった。