[논문 리뷰] BridgeNet: A Continuity-Aware Probabilistic Network for Age Estimation

Wanhua Li, Jiwen Lu외 4명|arXiv (Cornell University)|2019. 04. 06.

Face recognition and analysis참고 문헌 45인용 수 8

한 줄 요약

BridgeNet는 인상의 연속적인 변화를 명시적으로 모델링하기 위해 새로운 브릿지트리 아키텍처를 사용하여 국소 회귀기와 게이팅 네트워크를 결합한 연속성 인식 확률적 네트워크이다. 게이팅 네트워크에서 인접한 노드 간 유사성을 강제함으로써 BridgeNet은 회귀 정확도를 향상시켜, MORPH II에서 2.38 MAE, Chalearn LAP 2015에서 2.98 MAE를 기록하며, 둘 다 회귀 및 순위 기반 벤치마크에서 기존 방법을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Age estimation is an important yet very challenging problem in computer vision. Existing methods for age estimation usually apply a divide-and-conquer strategy to deal with heterogeneous data caused by the non-stationary aging process. However, the facial aging process is also a continuous process, and the continuity relationship between different components has not been effectively exploited. In this paper, we propose BridgeNet for age estimation, which aims to mine the continuous relation between age labels effectively. The proposed BridgeNet consists of local regressors and gating networks. Local regressors partition the data space into multiple overlapping subspaces to tackle heterogeneous data and gating networks learn continuity aware weights for the results of local regressors by employing the proposed bridge-tree structure, which introduces bridge connections into tree models to enforce the similarity between neighbor nodes. Moreover, these two components of BridgeNet can be jointly learned in an end-to-end way. We show experimental results on the MORPH II, FG-NET and Chalearn LAP 2015 datasets and find that BridgeNet outperforms the state-of-the-art methods.

연구 동기 및 목표

• 얼굴 연령 추정에서 비정상적이고 이질적인 노화 패턴의 과제를 해결하기 위해.
• 인접한 연령대 사이에 높은 시각적 유사도를 보이는 얼굴 노화의 연속적인 성격을 명시적으로 모델링하기 위해.
• 국소 회귀기 간의 연속성 인식 가중치를 활용하여 회귀 정확도를 향상시키기 위해.
• 국소 회귀기와 연속성 인식 게이팅 네트워크를 통합하는 통합형, 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 기준 연령 추정 데이터셋에서 기존 최신 기술 방법을 능가하기 위해.

제안 방법

• BridgeNet은 국소 회귀기를 사용하여 데이터 공간을 겹치는 부분을 가진 하위공간으로 분할함으로써 이질적인 노화 패턴의 국소적 모델링을 가능하게 한다.
• 브릿지트리 구조를 가진 게이팅 네트워크는 국소 회귀기 출력값에 대한 확률적이고 연속성 인식 가중치를 학습한다.
• 브릿지트리는 같은 층에 있는 인접한 노드 간에 브릿지 연결(스킵 연결)을 도입하여, 인접한 연령 그룹 간의 유사성과 연속성을 모델링한다.
• 게이팅 네트워크는 딱딱한 결정 대신 확률적 소프트 결정 메커니즘을 사용하여, 강인하고 부드러운 앙상블 예측을 가능하게 한다.
• 전체 모델은 엔드 투 엔드로 학습되며, 딥 네URAL 네트워크와의 원활한 통합을 가능하게 한다.
• 모델 복잡도는 잎 노드의 수를 조절함으로써 제어할 수 있으며, 깊이 및 노드 수의 확장 가능성을 지원한다.

실험 결과

연구 질문

• RQ1 인접한 연령 그룹 간의 연속성을 모델링하면 연령 추정 정확도가 향상되는가?
• RQ2 트리 구조 게이팅 네트워크에 브릿지 연결을 도입하면 연령 회귀 성능에 어떤 영향을 미치는가?
• RQ3 확률적 소프트 게이팅 메커니즘이 딱딱한 결정 기반 앙상블보다 연령 추정에서 더 우수한 성능을 내는가?
• RQ4 국소 회귀기의 분할-정복 전략이 연속성 인식 융합을 통해 어느 정도 이점을 얻는가?
• RQ5 BridgeNet은 연령 추정을 초월하여 다른 회귀 기반 컴퓨터 비전 작업으로 일반화 가능한가?

주요 결과

• MORPH II 데이터셋(설정 I)에서 BridgeNet은 2.38 MAE를 기록하여 6층 이진 트리 기준선 대비 0.13년 감소한 오차를 기록하였다.
• Chalearn LAP 2015 검증 세트에서 BridgeNet은 MAE 2.98과 ε-오차 0.26을 기록하였으며, 기존 최신 기술 대비 MAE에서 0.23년 감소하고 ε-오차에서 0.02 향상되었다.
• 이진 브릿지트리 변형은 더 높은 브릿지 노드 밀도와 더 나은 연속성 모델링 덕분에 삼중 브릿지트리보다 더 낮은 MAE를 달성하였다.
• 절단 실험 결과, 표준 트리 및 소프트맥스 기반 게이팅 네트워크보다 브릿지트리 구조가 유의미하게 뛰어난 성능을 보였으며, 특히 유사한 모델 복잡도에서 두드러졌다.
• BridgeNet은 단일 네트워크로도 뛰어난 성능을 달성하였고, 기존 최신 기술 방법이 앙상블 모델이 필요한 반면, 이는 효율성과 강인성을 입증한다.
• 이 방법은 일반화 가능하며, 어떤 딥 네URAL 네트워크와도 엔드 투 엔드 방식으로 통합 가능하므로, 회귀 작업 전반에 걸쳐 넓은 적용 가능성을 지닌다.