[논문 리뷰] Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition in the Wild

Ping Liu, Yuewei Lin외 4명|arXiv (Cornell University)|2020. 08. 26.

Adversarial Robustness in Machine Learning참고 문헌 74인용 수 4

한 줄 요약

이 논문은 악성 점 공격를 통해 정보가 풍부한 얼굴 영역을 식별하고 마스킹하는 방식으로, 자연 환경에서의 얼굴 표정 인식 성능을 향상시키기 위한 데이터 증강 방법인 Point Adversarial Self Mining(PASM)을 제안한다. 악성 샘플을 생성하여 중요한 얼굴 특징을 강조하고, 지식 정교화를 통해 네트워크를 보정함으로써, 아키텍처 변경 없이도 모델의 일반화 능력과 정확도를 향상시킨다.

ABSTRACT

In this paper, the Point Adversarial Self Mining (PASM) approach, a simple yet effective way to progressively mine knowledge from training samples, is proposed to produce training data for CNNs to improve the performance and network generality in Facial Expression Recognition (FER) task. In order to achieve a high prediction accuracy under real-world scenarios, most of the existing works choose to manipulate the network architectures and design sophisticated loss terms. Although demonstrated to be effective in real scenarios, those aforementioned methods require extra efforts in network design. Inspired by random erasing and adversarial erasing, we propose PASM for data augmentation, simulating the data distribution in the wild. Specifically, given a sample and a pre-trained network, our proposed approach locates the informative region in the sample generated by point adversarial attack policy. The informative region is highly structured and sparse. Comparing to the regions produced by random erasing which selects the region in a purely random way and adversarial erasing which operates by attention maps, the located informative regions obtained by PASM are more adaptive and better aligned with the previous findings: not all but only a few facial regions contribute to the accurate prediction. Then, the located informative regions are masked out from the original samples to generate augmented images, which would force the network to explore additional information from other less informative regions. The augmented images are used to finetune the network to enhance its generality. In the refinement process, we take advantage of knowledge distillation, utilizing the pre-trained network to provide guidance and retain knowledge from old samples to train a new network with the same structural configuration.

연구 동기 및 목표

• 실제 환경에서 제약 조건이 없는 조건에서 얼굴 표정 인식(Facial Expression Recognition, FER) 성능을 향상시키기 위해.
• FER에서 복잡한 네트워크 아키텍처와 손실 함수에 대한 의존도를 줄이기 위해.
• 정보가 풍부한 얼굴 영역을 적응적으로 식별하고 마스킹하는 데이터 증강 전략을 개발하기 위해.
• 악성 마스킹을 통해 네트워크가 정보가 덜 풍부한 영역에 의존하도록 유도함으로써 모델의 일반화 능력을 향상시키기 위해.
• fine-tuning 과정에서 사전 훈련된 모델의 지식을 유지하기 위해 지식 정교화를 활용하기 위해.

제안 방법

• PASM은 사전 훈련된 네트워크와 점 악성 공격 정책을 사용하여 얼굴 이미지 내에서 구조적으로 잘 정렬된 희박한 정보가 풍부한 영역을 식별한다.
• 이 방법은 특정 얼굴 점에 집중된 악성 편향을 생성하여 표현 분류에 핵심적인 영역을 강조한다.
• 악성 공격를 통해 식별된 정보가 풍부한 영역은 원본 샘플에서 마스킹되어 증강된 훈련 이미지를 생성한다.
• 증강된 이미지는 네트워크의 재학습에 사용되며, 이를 통해 네트워크가 덜 두드러진 얼굴 특징에 의존하도록 유도된다.
• 정교화 과정에서 지식 정교화가 적용되며, 사전 훈련된 네트워크가 새로운 네트워크를 안내하여 원본 샘플의 지식을 유지한다.
• 이 접근은 단순하고 효과적이며, 아키텍처 수정이나 복잡한 손실 함수 설계가 필요하지 않다.

실험 결과

연구 질문

• RQ1 악성 점 공격를 사용하여 표현 인식에 가장 정보가 풍부한 얼굴 영역을 식별할 수 있는가?
• RQ2 이러한 악성으로 식별된 영역을 마스킹하는 것이 제약 조건이 없는 환경에서 모델의 일반화 능력을 향상시키는가?
• RQ3 지식 정교화가 증강된 데이터로 함께 재학습할 때 성능을 효과적으로 유지할 수 있는가?
• RQ4 PASM은 실제 환경 조건에서 무작위 또는 주의 기반 데이터 증강보다 성능이 뛰어나게 되는가?
• RQ5 간단한 데이터 증강 방법이 FER에서 복잡한 네트워크 설계와 손실 함수에 대한 의존도를 줄일 수 있는가?

주요 결과

• PASM은 악성 점 공격를 통해 중요한 얼굴 영역에 집중함으로써 얼굴 표정 인식 정확도를 향상시킨다.
• 악성 마스킹을 통해 네트워크가 정보가 덜 풍부한 영역을 활용하도록 유도함으로써 모델의 일반화 능력이 향상되며, 특정 얼굴 신호에 대한 과도한 의존도가 감소한다.
• 재학습 과정에서의 지식 정교화는 성능을 유지하고 다양한 데이터 분포에 걸쳐 강건성을 확보한다.
• PASM은 아키텍처 수정이나 복잡한 손실 함수가 없이도 경쟁 가능한 성능을 달성한다.
• 이 방법은 제약 조건이 없는 환경에서 발생하는 데이터 분포를 시뮬레이션함으로써 실제 환경에서의 효과성을 입증한다.
• 악성 점 마스킹을 사용함으로써 랜덤 또는 주의 기반 방법보다 더 적응적이고 의미 있는 의미론적 데이터 증강이 가능하다.