[논문 리뷰] Cross Modal Distillation for Supervision Transfer

Saurabh Gupta, Judy Hoffman외 1명|arXiv (Cornell University)|2015. 07. 02.

Advanced Vision and Imaging참고 문헌 45인용 수 23

한 줄 요약

이 논문은 사전 훈련된 모델의 중위 특징을 사용하여 대규모 레이블이 부여된 모odal(예: RGB 이미지)에서 레이블이 없는 쌍체 모달(예: 깊이 또는 옵티컬 플로우)로 감독을 전달하기 위해 교차 모달 정규화를 제안한다. 이 방법은 추가적인 애너테이션 없이도 레이블이 없는 쌍체 데이터만을 사용하여 객체 검출의 mAP를 NYUD2에서 34.2%에서 41.7%로, JHMDB에서 31.7%에서 35.7%로 향상시키며 최신 기술 수준을 달성한다.

ABSTRACT

In this work we propose a technique that transfers supervision between images from different modalities. We use learned representations from a large labeled modality as a supervisory signal for training representations for a new unlabeled paired modality. Our method enables learning of rich representations for unlabeled modalities and can be used as a pre-training procedure for new modalities with limited labeled data. We show experimental results where we transfer supervision from labeled RGB images to unlabeled depth and optical flow images and demonstrate large improvements for both these cross modal supervision transfers. Code, data and pre-trained models are available at https://github.com/s-gupta/fast-rcnn/tree/distillation

연구 동기 및 목표

• 대규모 레이블이 부여된 데이터셋이 없는 새로운 영상 모달(예: 깊이, 옵티컬 플로우)에서 풍부한 표현을 학습하는 데 도전하는 것.
• 레이블이 부여된 쌍체 모달(예: ImageNet RGB)에서 레이블이 없는 쌍체 모달로 지식을 전이할 수 있도록 레이블이 없는 이미지 쌍만을 사용하는 것.
• 비용이 많이 드는 대규모 애너테이션 작업을 피하면서도 후속 작업에서 강력한 성능을 달성할 수 있는 새로운 모달을 위한 사전 훈련 방법을 개발하는 것.
• 원천 모달의 중위 특징이 타겟 모달의 표현 학습을 효과적으로 지도할 수 있는지 확인하는 것, 특히 타겟 모달에 레이블이 제한적이거나 전혀 없을 경우에도 유용하다는 점.
• RGB에서 훈련된 객체 검출기의 표현을 전이하여, 깊이 또는 옵티컬 플로우 모달에서 작동하도록 하는 제로샷 적응을 가능하게 하는 것.

제안 방법

• 대규모 레이블이 부여된 원천 모달(예: ImageNet에서의 RGB 이미지)에서 컨volutional 신경망(CNN)을 훈련하여 중위 수준의 의미적 표현을 학습한다.
• 원천 모달의 중위 특징을 사용하여, 레이블이 없는 쌍체 타겟 모달(예: 깊이 또는 옵티컬 플로우 이미지)에서 CNN을 훈련시키는 데 감독 신호로 활용한다.
• 양쪽 모달의 쌍체 이미지를 활용하여 도메인 간 표현을 정렬하며, 원천 모델의 특징 맵이 타겟 모델의 훈련을 이끈다.
• 동일한 모달 간이 아닌 서로 다른 모달 간에 지식 정규화 원리를 적용하여 교차 모달 감독 전이를 가능하게 한다.
• 원천 및 타겟 네트워크 모두 표준 CNN 아키텍처(예: AlexNet 또는 VGG)를 사용하며, 타겟 네트워크는 원천 네트워크의 중간 활성화를 재현하도록 훈련된다.
• 최종적으로 얻어진 모델을 객체 검출 또는 행동 인식과 같은 후속 작업에서 미세조정하여, 완전히 감독된 사전 훈련 수준에 가까운 성능을 달성한다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 부여된 모달(예: RGB)의 중위 특징을 사용하여, 타겟 모달(예: 깊이)에 대한 레이블이 전혀 없는 경우에도 표현 학습을 지도할 수 있는가?
• RQ2 레이블이 없는 쌍체 데이터만을 사용할 경우, 교차 모달 정규화가 객체 검출과 같은 후속 비전 작업의 성능을 얼마나 향상시킬 수 있는가?
• RQ3 교차 모달 정규화를 통해 사전 훈련된 모델의 성능가 랜덤 초기화나 완전히 감독된 사전 훈련된 모델과 비교해 볼 때 어떻게 되는가?
• RQ4 전이된 표현이 하나의 모달에서 훈련된 검출기를 다른 모달(예: RGB 검출기를 깊이 이미지에서 작동하도록)에 대해 제로샷 적응에 일반화할 수 있는가?

주요 결과

• NYUD2 데이터셋에서 교차 모달 정규화는 레이블이 없는 깊이 이미지만을 사용하여 객체 검출의 평균 정밀도(mAP)를 랜덤 초기화 시 34.2%에서 41.7%로 향상시켰으며, 이는 이전 최고 기록을 초월한다.
• RGB와 깊이 특징을 조합했을 때, 이 방법은 표준 사전 훈련 대비 mAP를 46.2%에서 49.1%로 향상시켜 다중 모달 특징의 상호 보완적 이점을 입증했다.
• JHMDB 데이터셋에서 행동 검출의 mAP는 랜덤 초기화 시 31.7%에서 RGB에서 옵티컬 플로우로의 감독 전이를 통해 35.7%로 향상되었으며, 완전히 감독된 사전 훈련의 38.4% 성능의 절반 이상을 달성했다.
• AlexNet에서 AlexNet으로의 정규화를 10만 반복 동안 수행하는 데 약 2.5시간이 소요되었으며, 이는 ImageNet 규모 데이터에서 랜덤 초기화로부터 훈련하는 것보다 수 개의 주기만큼 빠른 속도를 기록했다.
• RGB 모델에 VGG-16을 사용함으로써 NYUD2의 객체 검출 mAP는 42.1%로 더욱 향상되었으며, 이는 더 깊은 아키텍처로의 확장 가능성도 보여준다.
• 전이된 표현은 타겟 모달에서 유용한 계층적 특징을 학습했으며, 원천 모달 특징과의 보완성을 유지하여 다중 모달 환경에서 성능 향상을 이끌어냈다.