[논문 리뷰] Multi-Task Learning by Deep Collaboration and Application in Facial Landmark Detection

Ludovic Trottier, Philippe Giguère외 1명|arXiv (Cornell University)|2017. 10. 28.

Face recognition and analysis참고 문헌 27인용 수 11

한 줄 요약

이 논문은 비선형 횡방향 연결을 사용하여 깊이별 특징 공유를 가능하게 하는 다층 학습을 위한 새로운 소프트-파라미터 공유 메커니즘인 Deep Collaboration을 제안한다. 얼굴 랜드마크 검출에서 Cross-Stitch 및 MTCNN와 같은 최신 기법들을 능가하며, MTFL 데이터셋에서 28.97%의 실패율을 기록했으며, 추론 분석을 통해 관련 작업들로부터 깊이별 지식 전이가 이루어짐을 확인하였다.

ABSTRACT

Convolutional neural networks (CNNs) have become the most successful approach in many vision-related domains. However, they are limited to domains where data is abundant. Recent works have looked at multi-task learning (MTL) to mitigate data scarcity by leveraging domain-specific information from related tasks. In this paper, we present a novel soft-parameter sharing mechanism for CNNs in a MTL setting, which we refer to as Deep Collaboration. We propose taking into account the notion that task relevance depends on depth by using lateral transformation blocs with skip connections. This allows extracting task-specific features at various depth without sacrificing features relevant to all tasks. We show that CNNs connected with our Deep Collaboration obtain better accuracy on facial landmark detection with related tasks. We finally verify that our approach effectively allows knowledge sharing by showing depth-specific influence of tasks that we know are related.

연구 동기 및 목표

• 다중 작업 학습에서 관련 작업 간 지식 전이를 향상시켜 딥 러닝에서의 데이터 부족 문제를 해결하고자 한다.
• 하드-파라미터 공유의 한계, 즉 노이즈가 있는 작업으로 인한 간섭과 공유 특징에 대한 과도한 강조를 극복하고자 한다.
• 작업별 특징 학습이 가능하면서도 효과적이고 깊이 인지 기반의 지식 공유를 허용하는 소프트-파라미터 공유 메커니즘을 개발하고자 한다.
• 제안된 방법이 관련 작업으로부터 의미 있는 깊이별 영향을 제공함을 경험적으로 검증하고자 한다.
• 기존의 MTL 기법들에 비해 얼굴 랜드마크 검출에서 뛰어난 성능을 보임을 입증하고자 한다.

제안 방법

• 작업별 특징을 글로벌 특징으로 집계하고 다시 각 작업별 CNN에 통합하기 위한 두 개의 비선형 변환을 사용하는 미분 가능 기반의 협업 모듈을 제안한다.
• 다양한 깊이에서 특징 교환을 가능하게 하여 작업 간 깊이별 관련성을 확보하기 위해 스킵 연결을 활용한 횡방향 연결을 도입한다.
• 각 작업이 자체 CNN을 가지지만, 공유 레이어가 아닌 협업 모듈을 통해 지식을 공유하는 소프트-파라미터 공유 프레임워크를 사용한다.
• 기존의 CNN 아키텍처(예: MTCNN)에 수정 없이 플러그인 모듈로 협업 모듈을 적용한다.
• 비선형 변환을 활용한 잔차 구조를 사용하여 작업 간 복잡한 비선형 상관관계를 포착한다.
• 추론 분석을 통해 관련 작업이 특징 맵에 미치는 깊이별 영향을 측정함으로써 방법을 검증한다.

실험 결과

연구 질문

• RQ1 비선형적이고 깊이별 연결을 갖춘 소프트-파라미터 공유 메커니즘이 얼굴 랜드마크 검출에서 다중 작업 학습 성능을 향상시킬 수 있는가?
• RQ2 제안된 Deep Collaboration 메커니즘이 관련 작업으로부터 주 작업에 효과적인 지식 전이를 가능하게 하는가?
• RQ3 제안된 프레임워크에서 관련 작업의 영향은 네트워크의 다양한 깊이에서 어떻게 변화하는가?
• RQ4 협업 모듈이 MTCNN 및 Cross-Stitch와 같은 기존의 MTL 기법들을 초월할 수 있는가?
• RQ5 학습 중 작업 기여도의 무작위 변동에 대해 지식 공유 메커니즘이 강인한가?

주요 결과

• 제안된 Deep Collaboration 네트워크는 MTFL 데이터셋에서 28.97%의 실패율을 기록했으며, 표준 MTCNN의 37.85% 실패율을 뛰어넘었다.
• 랜드마크 검출의 평균 오차는 Deep Collaboration에서 0.0930으로, 표준 MTCNN의 0.0996보다 감소했다.
• 얼굴 검출에 실패한 횟수는 79회로, 표준 MTCNN의 112회보다 줄었으며, 이는 검출의 강인성이 향상되었음을 시사한다.
• 추론 분석 결과 관련 작업이 특정 깊이에서 특징에 영향을 미치며, 특히 고수준의 추상적 특징(예: 얼굴 방향)을 출력하는 Block 5에서 가장 높은 영향을 보였다.
• 결과적으로 협업 모듈은 고수준의 요소(예: 얼굴 회전)에 대해 효과적이고 깊이별 지식 전이를 가능하게 하며, 이는 랜드마크 예측에 핵심적인 역할을 한다.
• 학습 중 작업 기여도의 무작위 변동에 대해 메커니즘이 강인함을 입증하여 지식 공유의 안정성을 확인했다.