[論文レビュー] Incremental Boosting Convolutional Neural Network for Facial Action Unit Recognition

Shizhong Han, Zibo Meng+2 more|arXiv (Cornell University)|Jul 17, 2017

Emotion and Mood Recognition参考文献 13被引用数 63

ひとこと要約

論文は Incremental Boosting CNN (IB-CNN) を導入し、CNN に incremental boosting layer を統合して、時間を追って識別的特徴を選択し、顔のAU認識の汎化をデータが限られている場合に改善します。

ABSTRACT

Recognizing facial action units (AUs) from spontaneous facial expressions is still a challenging problem. Most recently, CNNs have shown promise on facial AU recognition. However, the learned CNNs are often overfitted and do not generalize well to unseen subjects due to limited AU-coded training images. We proposed a novel Incremental Boosting CNN (IB-CNN) to integrate boosting into the CNN via an incremental boosting layer that selects discriminative neurons from the lower layer and is incrementally updated on successive mini-batches. In addition, a novel loss function that accounts for errors from both the incremental boosted classifier and individual weak classifiers was proposed to fine-tune the IB-CNN. Experimental results on four benchmark AU databases have demonstrated that the IB-CNN yields significant improvement over the traditional CNN and the boosting CNN without incremental learning, as well as outperforming the state-of-the-art CNN-based methods in AU recognition. The improvement is more impressive for the AUs that have the lowest frequencies in the databases.

研究の動機と目的

• AU-coded 学習データが限られていることによる CNN の過学習と一般化の悪化に対処する。
• CNN の下位層から識別的なニューロンを選択するブースティング機構を導入する。
• ミニバッチを跨いでブースティング情報を蓄積する incremental learning アプローチを開発する。
• ファインチューニング時に strong-と weak-classifier の誤差をバランスさせる損失関数を提案する。
• 特に頻度の低い AU に対して、複数のベンチマークデータベースで AU 認識の改善を示す。

提案手法

• CNN に incremental boosting 層を埋め込み、各バッチごとに識別的な FC-layer特徴量（blue nodes）を選択する。
• 現在のブースト特徴と前回のブースト特徴を統合して incremental strong classifier を構築する（blue + red nodes）。
• AdaBoost-スタイルの重み付けを用いて weak learner の重みを更新し、ニューロンを活性化/非活性化する（αj と λj）。
• strong-classifier loss と weak-classifier loss を組み合わせた複合損失 εIB を定義し、ネットワークを微調整する。
• 総損失を逆伝播して CNN パラメータを調整し、複数のバッチからの情報が学習に影響を与えるようにする。
• SGDとモメンタムを用いて four AU benchmarks (CK, SEMAINE, BP4D, DISFA) の訓練と評価を行う。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られている場合、CNN 内の incremental boosting は AU 認識を改善できるか？
• RQ2 ミニバッチを跨いでブースト特徴を蓄積することで過学習を抑え、未知の被験者への一般化を改善するか？
• RQ3 強い分類器の誤差だけでなく、提案された strong + weak の損失がファインチューニングを改善するか？
• RQ4 IB-CNN は FC 層のニューロン数や学習率といったアーキテクチャの選択に頑健か？

主な発見

• IB-CNN は従来の CNN および非 incremental ブースティング CNN (B-CNN) を、ベンチマーク AU データベース全体で上回る。
• 改善は、訓練サンプルが限られている頻度の低い AU に特に顕著である。
• combined strong+weak loss（εIB）を使用すると、strong-loss のみの Variant より性能が向上する。
• IB-CNN はブースティング層の入力ニューロン数や学習率の選択には頑健である。