[論文レビュー] Multi-model Ensemble Learning Method for Human Expression Recognition

Jun Yu, Zhongpeng Cai+3 more|arXiv (Cornell University)|Mar 28, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文は、アフィルド2データセットを用いて、クラスの不均衡を解消するためにフォーカル・ロスを用い、ResNet、EfficientNet、InceptionNetのバックボーンを組み合わせた、野生の動画データにおける人間の感情認識のためのマルチモデルアンサンブル学習手法を提案する。この手法は、アフィルド2データセット上で、内部フォールドおよびクロスフォールドのアンサンブル戦略を用い、モデル統合とデータ分布の多様性を活かしてF1スコアを向上させ、現実世界の感情認識シナリオにおいて優れたパフォーマンスを示している。

ABSTRACT

Analysis of human affect plays a vital role in human-computer interaction (HCI) systems. Due to the difficulty in capturing large amounts of real-life data, most of the current methods have mainly focused on controlled environments, which limit their application scenarios. To tackle this problem, we propose our solution based on the ensemble learning method. Specifically, we formulate the problem as a classification task, and then train several expression classification models with different types of backbones--ResNet, EfficientNet and InceptionNet. After that, the outputs of several models are fused via model ensemble method to predict the final results. Moreover, we introduce the multi-fold ensemble method to train and ensemble several models with the same architecture but different data distributions to enhance the performance of our solution. We conduct many experiments on the AffWild2 dataset of the ABAW2022 Challenge, and the results demonstrate the effectiveness of our solution.

研究の動機と目的

• 制約のない、現実世界（ワイルド）の動画環境において、データが乏しく複雑な状況下での人間の顔の感情認識の課題に対処すること。
• 異なる深層学習アーキテクチャ（ResNet、EfficientNet、InceptionNet）を活用して特徴抽出することで、認識パフォーマンスを向上させること。
• アフィルド2データセットにおけるクラスの不均衡を、モデル学習中にフォーカル・ロスを用いて軽減すること。
• 異なるデータ分割を用いたマルチフォールドアンサンブル戦略を適用することで、モデルの汎化性能とロバスト性を向上させること。
• アンサンブルベースの統合を用いて、ABAW2022 表情分類コンテストで最先端のパフォーマンスを達成すること。

提案手法

• VGGFace2 や ImageNet からの事前学習済み重みを初期化として用い、ResNet50、EfficientNet-b0、InceptionNet-v1 をバックボーンとする3つの別々の表情分類モデルを学習した。
• データオーグメンテーションとして、RandomHorizontalFlipping および ColorJitter を適用し、トレーニングデータの多様性を高め、モデルの汎化性能を向上させた。
• 2段階のアンサンブル戦略を採用した：まず、異なるバックボーンモデルの出力を学習可能な重みを用いて統合した。次に、5フォールド交差検証を用いて、同じアーキテクチャだが異なるデータ分割を用いたモデルの学習とアンサンブルを実施した。
• アフィルド2データセットにおけるクラスの不均衡に対処するために、フォーカル・ロスを損失関数として採用した。定義は $\mathbf{F}\mathbf{L}(p)=\sum_{i=1}^{m}y_{i}\alpha_{i}(1-p_{i})^{\gamma_{i}}\log(p_{i})$ であり、クラス固有の重み $\alpha_i$ とフォーカスパラメータ $\gamma$ を含む。
• NVIDIA Tesla A100 GPU を用い、バッチサイズ256で、コサインスケジューリングを用いた学習率スケジューラとAdam最適化手法を用いてトレーニングプロセスを最適化した。
• 最終的な予測を、バリデーション性能に基づいて調整された融合重みを用いた重み付き平均を用いて統合し、パフォーマンスを最大化した。

実験結果

リサーチクエスチョン

• RQ1 異なる構造的設計を持つ複数のディープラーニングアーキテクチャを統合することで、ワイルド動画データにおける表情認識パフォーマンスが向上するか？
• RQ2 フォーカル・ロスは、アフィルド2データセットにおける表情分類のクラス不均衡を効果的に軽減できるか？
• RQ3 異なるデータ分布を持つ複数のデータフォールドでモデルを学習・アンサンブルすることで、モデルのロバスト性と汎化性能が向上するか？
• RQ4 マルチモデルアンサンブル学習は、ワイルドな表情認識環境において、単一モデルベースラインをどの程度上回るか？
• RQ5 異なるバックボーンおよびデータ分割で学習された多様なモデルの予測を統合する最適な統合戦略は何か？

主な発見

• マルチモデルアンサンブル手法は、アフィルド2テストセットで最終的に平均F1スコア0.421を達成し、個々のモデルを顕著に上回った。
• ResNet50はフォールド1で最高のF1スコア0.317を記録したが、EfficientNet-b0 と InceptionNet-v1 もフォールド全体で競争力のある性能を示し、相補的な特徴抽出が行われた。
• クロスフォールドアンサンブル戦略により、分散の低減と汎化性能の向上が図られ、特に異なるデータ分割で学習されたモデルを統合した場合に顕著であった。
• フォーカル・ロスの使用により、収束が改善され、マイノリティクラスのF1スコアが向上し、アフィルド2データセットの長尾分布に対しても効果的に対処できた。
• 複数の統合設定から得られた結果を統合した最終アンサンブルモデルは、最良の全体的パフォーマンスを達成し、提案されたマルチモデルおよびマルチフォールドアンサンブルアプローチの有効性を裏付けた。
• 本手法は、制約のない環境において強いロバスト性と汎化性能を示し、実世界の人間-コンピュータインタラクション応用に適していることが検証された。