[논문 리뷰] Extended Labeled Faces in-the-Wild (ELFW): Augmenting Classes for Face Segmentation

Rafael Redondo, Jaume Gibert|arXiv (Cornell University)|2020. 06. 24.

Face recognition and analysis참고 문헌 76인용 수 7

한 줄 요약

이 논문은 LFW의 개선된 버전인 확장된 레이블이 부여된 얼굴들(ELFW) 데이터셋을 소개한다. 이 데이터셋은 수동 재라벨링과 합성 데이터 증강을 통해 얼굴-관련 카테고리인 수염-턱수염, 선글라스, 헤드웨어블러, 합성 입마스크를 추가한다. 이 방법은 증강된 클래스와 원본 클래스 양쪽 모두에서 의미적 세그멘테이션 성능을 향상시키며, 입마스크와 같은 순수하게 합성된 카테고리로의 일반화 능력도 효과적으로 향상시킨다.

ABSTRACT

Existing face datasets often lack sufficient representation of occluding objects, which can hinder recognition, but also supply meaningful information to understand the visual context. In this work, we introduce Extended Labeled Faces in-the-Wild (ELFW), a dataset supplementing with additional face-related categories -- and also additional faces -- the originally released semantic labels in the vastly used Labeled Faces in-the-Wild (LFW) dataset. Additionally, two object-based data augmentation techniques are deployed to synthetically enrich under-represented categories which, in benchmarking experiments, reveal that not only segmenting the augmented categories improves, but also the remaining ones benefit.

연구 동기 및 목표

• 실세계 상황에서 얼굴 이해를 제한하는 원래 LFW 데이터셋의 맥락적 및 가림 물체 표현 부족 문제를 해결한다.
• 수염, 선글라스, 헤드웨어블러와 같은 저표본 얼굴 특징의 세그멘테이션 정확도를 향상시키기 위해 새로운 레이블을 추가하여 데이터셋을 확장한다.
• 객체 기반 데이터 증강 기법이 증강된 클래스와 증강되지 않은 클래스 양쪽 모두에서 세그멘테이션 성능 향상에 얼마나 효과적인지 평가한다.
• 실제 데이터에 존재하지 않는 순수하게 합성된 카테고리인 입마스크와 같은 카테고리로 딥 러닝 모델의 일반화 능력을 가능하게 한다.

제안 방법

• 피부, 머리카락, 배경 레이블의 일관성 결함을 수정하기 위해 원래 LFW의 의미적 맵을 수동으로 재라벨링하고 정제한다.
• 원래 LFW 컬렉션의 추가적인 레이블 없음 얼굴을 라벨링하여 정확한 의미적 세그멘테이션 레이블을 갖춘 훈련 세트를 확장한다.
• 선글라스, 입마스크, 가림 수건을 얼굴에 실제로 구현된 이미지처럼 겹쳐서 합성 데이터 증강을 적용하여 저표본 카테고리를 풍부하게 한다.
• 두 가지 증강 전략을 사용: 카테고리별 전용(예: 오직 선글라스)과 다중 카테고리(예: 선글라스 + 수건)를 적용하여 일반화 효과를 평가한다.
• 확장된 ELFW 데이터셋에서 최신 세그멘테이션 모델(FCN 및 DeepLabV3)을 훈련하고, 평균 교차율(mIoU) 및 클래스 IoU 메트릭을 사용해 성능을 평가한다.
• 현장 실험을 수행하여 실제 테스트 이미지에서 일반화 능력을 평가하였으며, 특히 순수하게 합성된 입마스크 카테고리에 초점을 맞췄다.

실험 결과

연구 질문

• RQ1 합성 데이터 증강이 실세계 얼굴 데이터셋에서 저표본 얼굴 물체 카테고리의 의미적 세그멘테이션 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 특정 카테고리(예: 선글라스, 수염)를 증강함으로써, 해당 클래스 뿐만 아니라 원래 증강되지 않은 클래스의 세그멘테이션 성능 향상 정도는 어느 정도인가?
• RQ3 실제 훈련 데이터에 존재하지 않는 순수하게 합성된 카테고리(예: 입마스크)에 대해 딥 러닝 모델이 일반화할 수 있는가?
• RQ4 다른 증강 전략(단일 카테고리 대비 다중 카테고리)이 비구속 환경에서 모델의 일반화 능력과 내성에 어떤 영향을 미치는가?
• RQ5 손이나 심한 머리 자세 변화와 같은 복잡한 가림 상황에서 세그멘테이션 모델의 실패 모드는 어떠한가?

주요 결과

• ELFW 데이터셋은 1,000여 개의 새로운 레이블이 부여된 얼굴을 추가하고 배경, 피부, 머리카락, 수염-턱수염, 선글라스, 헤드웨어블러, 합성 입마스크 등 총 7개의 의미적 카테고리를 도입하여 LFW를 성공적으로 확장하였다.
• DeepLabV3는 다중 카테고리 증강을 사용했을 때 더 높은 mIoU 향상을 보였으며, 각각의 증강 전략 하에서 선글라스와 수염-턱수염 카테고리에서 가장 뚜렷한 향상이 관찰되었다.
• 모델는 순수하게 합성된 입마스크 카테고리로도 강력한 일반화 능력을 보였으며, 훈련 세트에 실제 예시가 없음에도 정확한 세그멘테이션을 수행하였다.
• 손을 일반적인 위치에 놓았을 경우 효과적으로 세그멘테이션되었지만, 머리 위나 머리카락 근처에 놓였을 경우 헤드웨어블러와 혼동되어 잘못 분류되는 문제가 발생했다.
• 심한 머리 자세 변화는 추적 실패와 홀로 효과 같은 아티팩트를 유발했으며, 특히 수염과 얼굴 구조의 세그멘테이션에 영향을 미쳤다.
• 증강 전략은 증강된 클래스 뿐만 아니라 증강되지 않은 클래스의 mIoU에서도 일관된 향상을 가져왔으며, 이는 긍정적인 전이 학습 효과를 시사한다.