[논문 리뷰] Semantic Relationships Guided Representation Learning for Facial Action Unit Recognition

Guanbin Li, Xin Zhu외 3명|arXiv (Cornell University)|2019. 04. 22.

Face recognition and analysis참고 문헌 28인용 수 6

한 줄 요약

이 논문은 다중 척도 CNN에 게이트드 그래프 신경망(GGNN)을 통해 얼굴 운동 단위(AU) 의미 관계 지식 그래프를 통합하는 엔드 투 엔드 프레임워크 SRERL을 제안한다. 상호 보완적이고 상호 배제적인 AU 관계를 모델링함으로써, BP4D 및 DISFA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, AUC 기준 최대 18.1% 향상 및 F1 점수 기준 최대 4.0% 향상된 성과를 보였다.

ABSTRACT

Facial action unit (AU) recognition is a crucial task for facial expressions analysis and has attracted extensive attention in the field of artificial intelligence and computer vision. Existing works have either focused on designing or learning complex regional feature representations, or delved into various types of AU relationship modeling. Albeit with varying degrees of progress, it is still arduous for existing methods to handle complex situations. In this paper, we investigate how to integrate the semantic relationship propagation between AUs in a deep neural network framework to enhance the feature representation of facial regions, and propose an AU semantic relationship embedded representation learning (SRERL) framework. Specifically, by analyzing the symbiosis and mutual exclusion of AUs in various facial expressions, we organize the facial AUs in the form of structured knowledge-graph and integrate a Gated Graph Neural Network (GGNN) in a multi-scale CNN framework to propagate node information through the graph for generating enhanced AU representation. As the learned feature involves both the appearance characteristics and the AU relationship reasoning, the proposed model is more robust and can cope with more challenging cases, e.g., illumination change and partial occlusion. Extensive experiments on the two public benchmarks demonstrate that our method outperforms the previous work and achieves state of the art performance.

연구 동기 및 목표

• 기존 AU 인식 방법이 AU를 상호 독립적으로 취급하고 복잡한 구조적 관계를 모델링하지 못하는 한계를 해결하기 위해.
• 조명 변화 및 부분적 가림과 같은 도전적인 조건에서 고차원 AU 관계를 특징 학습에 통합함으로써 강건성을 향상시키기 위해.
• AU 관계 모델링을 특징 표현 파이프라인에 직접 통합함으로써 엔드 투 엔드 학습을 가능하게 하여 후처리 또는 별도의 규칙 기반 모듈을 피하기 위해.
• 그래프 신경망의 미분 가능성과 표현 능력을 활용해 얼굴 AU에 대한 구조적 추론을 수행하기 위해.
• 얼굴 표정에서 관찰된 해부학적 및 행동적 공진화를 바탕으로 AU 관계 지식 그래프를 구축하기 위해.

제안 방법

• 프레임워크는 입력 이미지에서 계층적인 얼굴 영역 특징을 추출하기 위해 다중 척도 CNN을 사용한다.
• 관찰된 공존 및 상호 배제 패tern을 기반으로, AU 간 의미적 관계를 표현하기 위해 구조적 지식 그래프를 구축한다.
• 그래프 내에서 노드(AU) 표현을 전파하고 개선하기 위해 게이트드 그래프 신경망(GGNN)을 네트워크에 통합한다. 이는 맥락 기반 추론을 가능하게 한다.
• GGNN은 게이트드 순환 단위를 사용하여 반복적으로 노드 특징을 업데이트함으로써 메시지 전달을 통해 AU 간 복잡한 의존성을 학습한다.
• 전체 네트워크는 엔드 투 엔드로 학습되며, 특징 학습과 AU 관계 추론을 동시에 최적화한다.
• 강화된 그래프 정규화 특징에 대해 다중 레이블 분류 헤드를 적용하여 최종 AU 인식을 수행한다.

실험 결과

연구 질문

• RQ1 얼굴 AU 간의 구조적 의미 관계를 모델링하면 도전적인 조건에서 AU 인식의 강건성과 정확도가 향상되는가?
• RQ2 AU 관계를 엔드 투 엔드 학습 가능한 방식으로 딥 네URAL 네트워크에 효과적으로 통합할 수 있는가?
• RQ3 AU 관계 추론에 미분 가능한 그래프 신경망을 사용할 경우 기존의 후처리 또는 규칙 기반 방법보다 성능이 뛰어나지는 않는가?
• RQ4 외관 특징과 관계 특징을 모두 통합할 경우 표준 AU 인식 벤치마크에서 성능 향상이 얼마나 이루어지는가?
• RQ5 AU 관계 지식 그래프는 실제 얼굴 표정에서 관찰되는 의미 있는 공진화 및 배제 관계를 충분히 포괄할 수 있는가?

주요 결과

• 제안된 SRERL 프레임워크는 BP4D 데이터셋에서 최신 기술 수준 성능을 달성하였으며, 두 번째로 우수한 방법 대비 F1 점수 기준 4.0% 향상 및 AUC 기준 18.1% 향상된 성과를 보였다.
• DISFA 데이터셋에서는 두 번째로 뛰어난 방법 대비 F1 점수 기준 2.3% 향상 및 AUC 기준 28.4% 향상된 성과를 기록하였다.
• 수작업 특징과 독립적 레이블 추론에 의존하는 선형 SVM(USVM)에 비해 F1 점수 기준 27.6% 향상 및 AUC 기준 41.9% 향상된 성과를 보였다.
• AU 관계를 모델링하는 DSIN과 비교했을 때, BP4D에서 F1 점수 기준 4.0% 높고, DISFA에서 2.3% 높은 성능을 기록하여, 별도의 관계 모델링이 아닌 통합 최적화의 우수성을 입증하였다.
• DRML 및 ROI와 비교했을 때, BP4D에서 F1 점수 기준 각각 14.6% 및 6.5% 높고, DISFA에서 각각 29.2% 및 7.4% 높은 성능을 기록하였다.
• 제거 실험 결과, GGNN 기반 그래프 추론이 성능 향상에 크게 기여함을 확인하였으며, 이는 구조적 AU 관계 모델링의 효과성을 입증한다.