[논문 리뷰] Disjoint Multi-task Learning between Heterogeneous Human-centric Tasks

Dong-Jin Kim, Jinsoo Choi외 3명|arXiv (Cornell University)|2018. 02. 14.

Human Pose and Action Recognition참고 문헌 43인용 수 3

한 줄 요약

이 논문은 동작 분류와 영상 문장 생성이라는 이질적인 인간 중심 작업 간 이원적 다중 작업 학습을 위한 새로운 교차 방향 최적화 방법을 제안한다. 별도의 단일 작업 데이터셋을 사용하며, 온도 조정을 통한 지식 정복과 치명적 기억 상실을 완화함으로써, 두 작업 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Human behavior understanding is arguably one of the most important mid-level components in artificial intelligence. In order to efficiently make use of data, multi-task learning has been studied in diverse computer vision tasks including human behavior understanding. However, multi-task learning relies on task specific datasets and constructing such datasets can be cumbersome. It requires huge amounts of data, labeling efforts, statistical consideration etc. In this paper, we leverage existing single-task datasets for human action classification and captioning data for efficient human behavior learning. Since the data in each dataset has respective heterogeneous annotations, traditional multi-task learning is not effective in this scenario. To this end, we propose a novel alternating directional optimization method to efficiently learn from the heterogeneous data. We demonstrate the effectiveness of our model and show performance improvements on both classification and sentence retrieval tasks in comparison to the models trained on each of the single-task datasets.

연구 동기 및 목표

• 공유되는 애너테이션이 없는 이원적, 이질적인 데이터셋에서 다중 작업 모델을 훈련하는 데 도전하는 것.
• 각 샘플에 하나의 작업 레이블만 존재하는 데이터셋에서 훈련할 때 치명적 기억 상실을 완화하는 것.
• 별도의 동작 및 문장 생성 데이터셋에서 공동으로 학습함으로써 동작 분류 및 문장 검색 성능을 향상시키는 것.
• 다른 이해 수준을 가진 인간 중심 작업 간 공유 표현 학습을 통해 상호 이점이 발생할 수 있음을 검증하는 것.

제안 방법

• 다른 작업의 지식을 보존하면서 한 작업의 데이터에서 훈련하는 교차 방향 최적화 프레임워크를 제안한다. 이는 지식 정복 기반 손실을 사용한다.
• 온도 하이퍼파라미터 T=2를 사용한 지식 정복을 통해 작업 간 소프트 레이블 분포를 전달함으로써 특징 정렬을 향상시킨다.
• 공유 트렁크 네트워크를 특징 추출에 사용하고, 작업별 전용 헤드를 분류 및 문장 생성에 사용한다.
• 교차 엔트로피 손실과 정복 손실의 가중 조합을 적용하며, mAP 최적화를 위해 λC=0.5 및 λS=0.7의 λ 값이 도출되었다.
• 두 단계 훈련 과정을 도입한다: 먼저 한 데이터셋에서 훈련하고, 이후 정복을 통해 지식을 보존하면서 데이터셋 간 교차로 훈련한다.
• 문장 검색을 위해 대비 손실을 사용하고, 동작 분류를 위해 교차 엔트로피를 사용하며, 교차 업데이트를 통해 공동 최적화한다.

실험 결과

연구 질문

• RQ1 공유 애너테이션이 없는 이질적 인간 중심 작업 간 이원적 다중 작업 학습이 단일 작업 학습을 초월해 성능을 향상시킬 수 있는가?
• RQ2 각 샘플에 하나의 작업 레이블만 존재하는 데이터셋에서 훈련할 때 치명적 기억 상실을 어떻게 완화할 수 있는가?
• RQ3 공동 훈련 환경에서 동작 분류와 문장 생성 손실 간 최적의 균형은 무엇인가?
• RQ4 공유 애너테이션이 없더라도, 동작 인식에서 학습된 표현이 문장 검색 성능을 향상시키고, 반대로 문장 생성에서 학습된 표현이 동작 예측 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 단일 작업 및 표준 다중 작업 기반 모델보다 동작 분류 및 문장 검색 작업 모두에서 더 높은 mAP 성능을 달성한다.
• T=2에서의 지식 정복이 L1, L2 및 교차 엔트로피 손실보다 모든 지표에서 최고의 성능을 보였다.
• 교차 작업 예측 결과는 동작 데이터에서 의미적으로 관련 있는 문장을 생성하고, 문장 임베딩에서 정확한 동작을 예측할 수 있음을 보여준다.
• 최적의 손실 가중치는 문장 생성에 대해 λC=0.5, 동작 분류에 대해 λS=0.7로, 비균형적인 무게 조정이 성능 향상에 기여함을 시사한다.
• 정성적 결과는 모델이 잘 일반화되어 있음을 보여주며, 동작 데이터에서 타당한 문장을 생성하고, 문장 임베딩에서 정확한 동작을 식별할 수 있음을 확인한다.
• 이 방법은 다양한 데이터 모odal에 대해 일반적이고 효과적이며, 이질적인 인간 중심 작업 간 공유 표현 학습을 통해 상호 보완이 가능하다는 것을 보여준다.