[논문 리뷰] End-to-end semantic face segmentation with conditional random fields as convolutional, recurrent and adversarial networks

Umut Güçlü, Yağmur Güçlütürk외 6명|arXiv (Cornell University)|2017. 03. 09.

Face recognition and analysis참고 문헌 11인용 수 18

한 줄 요약

이 논문은 조건부 랜덤 필드(CRF)를 컨volutional, 순환, 생성적 적대적 네트워크와 통합한 엔드 투 엔드 학습 가능한 의미적 얼굴 세분화 모델을 제안한다. 네 접점 CRF 그래프를 사용해 단항 및 이원 잠재변수를 학습하고, 확장된 컨volution을 통해 다중 척도적 맥락을 확보하며, 적대적 학습을 통해 고차원 일致성을 강제함으로써, Part Labels 및 Helen 데이터셋에서 최신 기술 수준의 성능을 달성하여 머리카락과 같이 도전적인 부분의 세분화 정확도를 크게 향상시킨다.

ABSTRACT

Recent years have seen a sharp increase in the number of related yet distinct advances in semantic segmentation. Here, we tackle this problem by leveraging the respective strengths of these advances. That is, we formulate a conditional random field over a four-connected graph as end-to-end trainable convolutional and recurrent networks, and estimate them via an adversarial process. Importantly, our model learns not only unary potentials but also pairwise potentials, while aggregating multi-scale contexts and controlling higher-order inconsistencies. We evaluate our model on two standard benchmark datasets for semantic face segmentation, achieving state-of-the-art results on both of them.

연구 동기 및 목표

• 빛의 조건, 자세, 표정, 머리카락 질감 등의 다양한 조건에서 의미적 얼굴 세분화의 과제를 해결하기 위해.
• 최근의 의미 세분화 기술—엔드 투 엔드 학습, 학습 가능한 CRF 잠재변수, 다중 척도 맥락, 고차원 일치성—을 하나의 통합 프레임워크로 통합하기 위해.
• 색상 유사성과 비탄성 구조로 인해 자주 잘못 분류되는 머리카락과 같은 어려운 얼굴 부분의 세분화를 향상시키기 위해.
• 특징의 구조적 성격을 활용하기 위해 랜드마크에 조건을 붙이거나, 부분별로 특화된 모델을 훈련시켜 정확한 국소화를 향상시키기 위해.
• 표준 벤치마크에서 최신 기술 수준의 성능를 달성하면서도 엔드 투 엔드 미분 가능성과 가림 및 혼잡함에 대한 강건성을 유지하기 위해.

제안 방법

• 네 접점 그래프에 기반한 조건부 랜덤 필드(CRF)를 컨볼루션 신경망과 순환 신경망을 결합한 엔드 투 엔드 미분 가능한 아키텍처로 제안한다.
• 다양이 가능한 순환 네트워크를 통해 CRF의 단항 잠재변수와 이원 잠재변수를 동시에 학습함으로써, 세분화와 CRF 파라미터의 공동 최적화를 가능하게 한다.
• 확장된 컨볼루션을 도입하여 수용장역을 확장하고, 해상도를 감소시키지 않고도 다중 척도 맥락 정보를 확보한다.
• 예측의 고차원 일치성을 강제하기 위해 적대적 학습을 도입하여, 고차원 잠재변수를 명시적으로 모델링하지 않더라도 공간적 일관성을 향상시킨다.
• 얼굴 랜드마크에 조건을 붙이거나, 각 얼굴 부분별로 특화된 여러 모델을 훈련시켜 부분 기반 방식으로 출력을 통합함으로써 국소화 정확도를 향상시킨다.
• 실제 진짜 세분화 맵과 생성된 예측을 구분하는 GAN 기반의 판별자(디스criminator)를 사용하여, 현실적이며 일관성 있는 출력을 유도한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크는 의미적 얼굴 세분화를 위한 CRF에서 단항 및 이원 잠재변수를 동시에 최적화하면서도 엔드 투 엔드 학습이 가능한가?
• RQ2 확장된 컨볼루션과 적대적 학습을 통합할 경우, 얼굴 세분화에서 다중 척도 맥락 집약과 구조적 일관성은 어떻게 향상되는가?
• RQ3 얼굴 랜드마크에 조건을 붙이거나 부분별 특화된 모델을 훈련시킬 경우, 미세한 얼굴 구성 요소의 세분화 정확도는 어느 정도 향상되는가?
• RQ4 제안된 CnnRnnGan 모델은 Part Labels 및 Helen과 같은 표준 벤치마크에서 기존 최신 기술 수준의 방법을 초월하는가?
• RQ5 모델의 실패 유형은 머리카락-배경 색상 유사성 또는 극단적인 표정 변화와 같은 시각적 모호성과 어떻게 관련이 있는가?

주요 결과

• 제안된 CnnRnnGan 모델은 Part Labels 및 Helen 데이터셋에서 모두 최신 기술 수준의 성능를 달성하여, 평균 Jaccard 지수 측면에서 이전 방법들을 능가한다.
• Helen 데이터셋에서 초기 세분화를 조건으로 한 다중 부분별 CnnRnnGan 헤드를 사용한 모델는 평균 Jaccard 지수 0.7873을 기록하여 기준 버전보다 유의미하게 향상되었다.
• 간단한 변형 대비 눈썹(+0.2132), 눈(+0.1936), 내부 입술(+0.1843)과 같은 어려운 부분의 세분화 정확도가 향상되었다.
• 적대적 학습은 공간적 일관성을 감소시키는 데 기여하였으며, 시각적 결과에서는 입술과 코와 같은 복잡한 영역에서 더 매끄럽고 일관성 있는 예측이 나타났다.
• 실패 사례는 주로 머리카락 색상이 배경과 유사하거나 표정이 중립 자세에서 크게 벗어난 경우에 주로 관찰되었으며, 이는 색상 및 형태 일반화 능력의 한계를 시사한다.
• 절단 분석을 통해 초기 세분화 조건을 붙인 다중 부분별 모델을 조합할 경우 모든 클래스에서 가장 일관되고 정확한 결과를 얻을 수 있었다.