[논문 리뷰] Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification

Yongxi Lu, Abhishek Kumar외 4명|arXiv (Cornell University)|2016. 11. 16.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 9

한 줄 요약

이 논문은 유연하고 동적이고 다중 작업 학습 프레임워크를 제안하며, 훈련 중에 탐욕스럽게 얇은 네트워크를 확장함으로써 자동으로 컴act한 딥 네트워크 아키텍처를 설계한다. 이는 유사한 작업을 그룹화하고 복잡성을 최소화하는 데 사용되는 새로운 기준을 사용한다. 이 방법은 VGG-16보다 90배 작고 3배 빠른 모델을 사용하여 CelebA에서 얼굴 속성 분류 작업에서 최신 기술 성능(SOTA)을 달성한다. 또한 높은 효율성과 컴팩트함을 바탕으로 얼굴 및 옷차림 속성 예측을 동시에 수행할 수 있다.

ABSTRACT

Multi-task learning aims to improve generalization performance of multiple prediction tasks by appropriately sharing relevant information across them. In the context of deep neural networks, this idea is often realized by hand-designed network architectures with layers that are shared across tasks and branches that encode task-specific features. However, the space of possible multi-task deep architectures is combinatorially large and often the final architecture is arrived at by manual exploration of this space subject to designer's bias, which can be both error-prone and tedious. In this work, we propose a principled approach for designing compact multi-task deep learning architectures. Our approach starts with a thin network and dynamically widens it in a greedy manner during training using a novel criterion that promotes grouping of similar tasks together. Our Extensive evaluation on person attributes classification tasks involving facial and clothing attributes suggests that the models produced by the proposed method are fast, compact and can closely match or exceed the state-of-the-art accuracy from strong baselines by much more expensive models.

연구 동기 및 목표

• 다중 작업 딥 네트워크 아키텍처의 자동 설계를 통해 조합적으로 큰 아키텍처 공간에 대한 수동적이고 편향된 탐색을 제거한다.
• 각 네트워크 레이어에서 어떤 작업이 기능을 공유할지를 동적으로 결정하여 선택적이고 작업 관련 기능 공유를 가능하게 한다.
• 최소한의 메모리 사용량을 유지하면서도 최신 기술 성능을 유지하거나 초월하는 컴팩트하고 저지연 모델을 생성한다.
• 작업 간 관련성과 모델 복잡성의 균형을 고려한 원칙적인 탐욕스러운 상향식 네트워크 확장 전략을 개발한다.

제안 방법

• 이 방법은 얇은 네트워크에서 시작하여, 유사한 작업을 그룹화하고 복잡성을 억제하는 데 사용되는 새로운 분기 기준을 활용해 훈련 중에 네트워크를 동적으로 넓힌다.
• 탐욕스럽고 계층별로 분기하는 메커니즘이, 작업 유사성과 복잡성 비용을 바탕으로 각 레이어에서 주어진 작업이 어떤 작업과 기능을 공유할지를 결정한다.
• 기존에 넓은 네트워크(예: VGG-16)에서 미리 훈련된 모델의 지식을 얇은 네트워크로 전이하는 데 사용되는 새로운 Simultaneous Orthogonal Matching Pursuit(SOMP)-기반 초기화 방법을 제안한다. 이는 수렴 속도를 가속화하고 정확도를 향상시킨다.
• 성능 향상과 중복 감소가 확인될 경우에만 새로운 분기를 추가하는 다중 라운드 분기 절차를 통해 네트워크를 점진적으로 확장한다.
• 분기 결정 과정에서 복잡성 페널티를 통해 관련성이 없는 작업 간의 기능 공유를 억제함으로써 부정적 전이를 방지한다.
• 공유된 하단 계층과 동적으로 생성된 작업 전용 분기 계층을 갖춘 아키텍처를 종단 간(end-to-end)으로 훈련하여 상호 배제되지 않는 속성의 동시에 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전히 적응형이고 동적인 아키텍처 탐색 절차는 작업 간 관계에 대한 사전 가정 없이도 수동 설계 없이 최적의 다중 작업 네트워크 아키텍처를 자동으로 학습할 수 있는가?
• RQ2 유사성과 복잡성 기반의 동적이고 계층별 작업 그룹화 방식이 다중 작업 인물 속성 분류에서 모델 정확도와 컴팩트함에 어떤 영향을 미치는가?
• RQ3 미리 훈련된 넓은 네트워크에서 SOMP 기반 초기화가 얇은 다중 작업 모델의 수렴과 성능 향상에 얼마나 기여하는가?
• RQ4 단일 컴팩트한 다중 작업 모델이 다양한 얼굴 및 옷차림 속성을 동시에 예측할 수 있으며, 더 큰 기준 모델에 비해 성능이 유사하거나 초월할 수 있는가?
• RQ5 작업 그룹화가 모델 정확도에 미치는 영향은 무엇이며, 유사한 작업을 그룹화하는 것이 다양한 속성 카테고리에서 일관되게 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 CelebA 데이터셋에서 얼굴 속성 분류 작업에서 90%의 정확도를 달성하며, 훨씬 큰 VGG-16 모델이 달성한 최신 기술 성능(SOTA)과 동일한 성능을 내지만, 모델 크기는 90배 작고 속도는 3배 빠르다.
• DeepFashion 데이터셋에서 이 방법은 단일 컴팩트한 다중 작업 모델을 사용하여 얼굴 및 옷차림 속성의 동시에 예측을 가능하게 하면서도 높은 정확도를 유지한다.
• SOMP 초기화 방법은 수렴 속도와 최종 정확도를 크게 향상시키며, 무작위 초기화 대비 더 빠르고 우수한 훈련 진행 상황을 보여준다.
• 제거 실험을 통해 유사한 작업을 그룹화하면 대부분의 속성에서 정확도 향상이 확인되었으며, 특히 너무 넓은 분기에서 작업을 재그룹화했을 때 가장 큰 성능 향상이 관찰되었다.
• 컴팩트한 Branch-32-2.0 모델과 VGG-16 기준 모델 간의 정확도 격차는 최적의 사전 훈련 가중치 사용이 아닌 모델 용량이 작기 때문이며, 사전 훈련 사용에 대한 제거 실험을 통해 이를 확인할 수 있었다.