[논문 리뷰] Revealing the Invisible with Model and Data Shrinking for Composite-database Micro-expression Recognition

Zhaoqiang Xia, Wei Peng외 3명|arXiv (Cornell University)|2020. 06. 17.

Anomaly Detection Techniques and Applications참고 문헌 44인용 수 6

한 줄 요약

이 논문은 복합 데이터베이스에서 미소표정 인식 성능을 향상시키기 위해 매개변수 없는 모듈(광역 확장, 단순 연결, 주의 단위)을 갖춘 순환 합성곱 신경망(RCN)을 제안한다. 이는 모델 및 입력 데이터 복잡도를 동시에 감소시킴으로써 성능을 향상시킨다. 제안된 방법은 MEGC2019 데이터셋에서 최신 기술을 초월하며, 학습 복잡도 감소 및 자동화된 신경망 아키텍처 탐색 전략을 통해 도메인 이동에 대해 향상된 강건성을 확보한다.

ABSTRACT

Composite-database micro-expression recognition is attracting increasing attention as it is more practical to real-world applications. Though the composite database provides more sample diversity for learning good representation models, the important subtle dynamics are prone to disappearing in the domain shift such that the models greatly degrade their performance, especially for deep models. In this paper, we analyze the influence of learning complexity, including the input complexity and model complexity, and discover that the lower-resolution input data and shallower-architecture model are helpful to ease the degradation of deep models in composite-database task. Based on this, we propose a recurrent convolutional network (RCN) to explore the shallower-architecture and lower-resolution input data, shrinking model and input complexities simultaneously. Furthermore, we develop three parameter-free modules (i.e., wide expansion, shortcut connection and attention unit) to integrate with RCN without increasing any learnable parameters. These three modules can enhance the representation ability in various perspectives while preserving not-very-deep architecture for lower-resolution data. Besides, three modules can further be combined by an automatic strategy (a neural architecture search strategy) and the searched architecture becomes more robust. Extensive experiments on MEGC2019 dataset (composited of existing SMIC, CASME II and SAMM datasets) have verified the influence of learning complexity and shown that RCNs with three modules and the searched combination outperform the state-of-the-art approaches.

연구 동기 및 목표

• 복합 데이터베이스에서의 미소표정 인식 성능 저하 문제를 도메인 이동으로 인한 영향으로 설명하고자 한다.
• 입력 해상도 및 모델 깊이 등 학습 복잡도가 복합 데이터셋 내 표현 학습에 미치는 영향을 조사하고자 한다.
• 과적합 위험을 줄이고 강력한 표현 능력을 유지하면서도 경량의 얕은 아키텍처를 갖춘 순환 합성곱 신경망(RCN)을 개발하고자 한다.
• 모델 파라미터 증가 없이도 특징 학습을 향상시키기 위해 광역 확장, 단순 연결, 주의 단위의 세 가지 매개변수 없는 모듈을 도입하고자 한다.
• 강건성 및 성능 향상을 위해 최적의 모듈 조합을 자동으로 탐색하는 신경망 아키텍처 탐색(NAS) 전략을 설계하고자 한다.

제안 방법

• 모델 및 데이터 복잡도를 최소화하기 위해 깊이가 얕고 입력 해상도가 낮은 순환 합성곱 신경망(RCN)을 제안한다.
• 세 가지 매개변수 없는 모듈을 통합한다: 광역 확장을 통해 각 레이어의 수용장역을 증가시키고, 순환 레이어의 학습 안정성을 높이기 위해 단순 연결을 도입하며, 미소표정 관련 얼굴 영역에 집중하기 위해 주의 단위를 적용한다.
• 최적의 모듈 조합을 탐색하기 위해 기울기 가능(NAS) 신경망 아키텍처 탐색 전략을 설계하여 상위 후보 중 가장 높은 성능을 보이는 아키텍처를 선별한다.
• MEGC2019 데이터셋에서 RCN 및 그 변종을 엔드 투 엔드로 훈련 및 평가한다. 이 데이터셋은 SMIC, CASME II, SAMM 데이터셋을 하나의 복합 기준 벤치마크로 통합한 것이다.
• 유동 맵 표현을 다양한 해상도(fs=60, 100, 200, 300)로 사용하여 입력 복잡도 감소 조건에서의 계산 효율성 및 모델 강건성을 분석한다.
• 모듈 기여도를 검증하고 NAS 최적화 아키텍처의 효과성을 입증하기 위해 추론 분석(ablation study)를 수행한다.

실험 결과

연구 질문

• RQ1 입력 해상도 및 모델 깊이를 줄이면 복합 데이터베이스에서의 미소표정 인식 성능에 어떤 영향을 미치는가?
• RQ2 매개변수 없는 모듈(광역 확장, 단순 연결, 주의 단위)이 모델 파라미터 증가 없이 표현 학습에 얼마나 기여하는가?
• RQ3 신경망 아키텍처 탐색 전략이 이러한 모듈의 최적 조합을 효과적으로 탐색하여 강건성 및 정확도를 향상시킬 수 있는가?
• RQ4 제안된 RCN가 복합 데이터베이스 벤치마크인 MEGC2019에서 최신 기술 대비 어떻게 비교되는가?
• RQ5 다중 데이터셋 미소표정 인식(MER)에서 도메인 이동이 깊이 학습 모델에 미치는 영향은 무엇이며, 제안된 방법은 이를 어떻게 완화하는가?

주요 결과

• 낮은 해상도의 입력 데이터와 얕은 네트워크 아키텍처는 복합 데이터베이스에서의 도메인 이동에 의한 성능 저하를 크게 감소시킨다.
• 매개변수 없는 모듈을 갖춘 제안된 RCN은 STSTNet, OFF-ApexNet, Dual-Inception보다 MEGC2019 데이터셋에서 더 높은 정확도를 달성하며, 향상된 강건성을 입증한다.
• 주의 단위는 관련 없는 얼굴 운동의 간섭을 줄이고, 미소표정 관련 얼굴 영역에 집중함으로써 성능을 향상시킨다.
• NAS 최적화 아키텍처(RCN-F)는 모든 다른 변종 및 최신 기술을 초월하며, 자동 모듈 조합 전략의 효과성을 확인한다.
• 계산 시간은 유동 맵 해상도가 높아지고 파라미터 수가 증가할수록 증가함을 확인하였으며, 이는 데이터 및 모델 축소가 훈련 효율성을 향상시킨다는 것을 뒷받침한다.
• 시각화 결과는 모델이 다양한 주제 및 표정(예: 놀람, 부정적, 긍정적)에서 미소표정을 정확히 식별하는 것을 보여주지만, 주의 집중이 잘못될 경우 실패가 발생함을 확인한다.