[論文レビュー] Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition in the Wild

Ping Liu, Yuewei Lin+4 more|arXiv (Cornell University)|Aug 26, 2020

Adversarial Robustness in Machine Learning参考文献 74被引用数 4

ひとこと要約

本稿では、顔の表情認識を、野生の状況下で向上させるために、敵対的ポイント攻撃を用いて情報量の多い顔領域を特定・マスクするデータ拡張手法であるPoint Adversarial Self Mining（PASM）を提案する。敵対的サンプルを生成して顕著な顔の特徴を強調し、知識蒸留を用いてネットワークを微調整することで、アーキテクチャの変更なしにモデルの汎化性能と精度を向上させる。

ABSTRACT

In this paper, the Point Adversarial Self Mining (PASM) approach, a simple yet effective way to progressively mine knowledge from training samples, is proposed to produce training data for CNNs to improve the performance and network generality in Facial Expression Recognition (FER) task. In order to achieve a high prediction accuracy under real-world scenarios, most of the existing works choose to manipulate the network architectures and design sophisticated loss terms. Although demonstrated to be effective in real scenarios, those aforementioned methods require extra efforts in network design. Inspired by random erasing and adversarial erasing, we propose PASM for data augmentation, simulating the data distribution in the wild. Specifically, given a sample and a pre-trained network, our proposed approach locates the informative region in the sample generated by point adversarial attack policy. The informative region is highly structured and sparse. Comparing to the regions produced by random erasing which selects the region in a purely random way and adversarial erasing which operates by attention maps, the located informative regions obtained by PASM are more adaptive and better aligned with the previous findings: not all but only a few facial regions contribute to the accurate prediction. Then, the located informative regions are masked out from the original samples to generate augmented images, which would force the network to explore additional information from other less informative regions. The augmented images are used to finetune the network to enhance its generality. In the refinement process, we take advantage of knowledge distillation, utilizing the pre-trained network to provide guidance and retain knowledge from old samples to train a new network with the same structural configuration.

研究の動機と目的

• 実世界の制約のない条件下での顔の表情認識（FER）性能の向上を目的とする。
• FERにおける複雑なネットワークアーキテクチャや損失関数への依存を低減することを目的とする。
• 情報量の多い顔領域を適応的に特定・マスクするデータ拡張戦略の開発を目的とする。
• 敵対的マスクによってネットワークに情報量の少ない領域に依存させるように強制することで、モデルの汎化性能を向上させることを目的とする。
• 微調整中に事前学習済みモデルからの知識を保持するために、知識蒸留を活用することを目的とする。

提案手法

• PASMは事前学習済みネットワークとポイント敵対的攻撃方策を用い、顔画像内の構造的でスパarsな情報量の多い領域を特定する。
• 特定の顔のポイントに焦点を当てた敵対的摂動を生成し、表情分類に重要な領域を強調する。
• 敵対的攻撃によって特定された情報量の多い領域を元のサンプルからマスクして、拡張された訓練画像を生成する。
• 生成された拡張画像を用いてネットワークを微調整し、ネットワークが目立たない顔の特徴に依存するように促す。
• 微調整段階で知識蒸留を適用し、事前学習済みネットワークを用いて新しいネットワークをガイドすることで、元のサンプルからの知識を保持する。
• 本手法は単純で効果的であり、アーキテクチャの変更や複雑な損失関数の設計を必要としない。

実験結果

リサーチクエスチョン

• RQ1 敵対的ポイント攻撃を用いて、表情認識に最も情報量の多い顔領域を特定できるか？
• RQ2 敵対的に特定された領域をマスクすることで、制約のない環境下でのモデルの汎化性能が向上するか？
• RQ3 知識蒸留は、拡張データを用いた微調整中に効果的に性能を維持できるか？
• RQ4 PASMは、ランダムまたはアテンションベースのデータ拡張と比較して、実世界の条件下でのFERで優れた性能を発揮するか？
• RQ5 単純なデータ拡張手法により、FERにおける複雑なネットワーク設計や損失関数への依存を低減できるか？

主な発見

• PASMは敵対的ポイント攻撃を用いて、顔の重要な領域に注目することで、顔の表情認識の精度を向上させる。
• 敵対的マスクによってネットワークに情報量の少ない領域に依存させるように強制することで、特定の顔の手がかりに過剰に依存するのを防ぎ、モデルの汎化性能を向上させる。
• 微調整段階での知識蒸留により、性能が保持され、多様なデータ分布にわたり頑健性が維持される。
• PASMはアーキテクチャの変更や複雑な損失関数の設計を必要とせず、競争力のある性能を達成する。
• 本手法は、制約のない環境で見られるデータ分布を模倣することで、実世界のシナリオにおいて有効であることを示している。
• 敵対的ポイントマスクの使用により、ランダムまたはアテンションベースの手法と比較して、より適応的で意味的に意味のあるデータ拡張が可能になる。