[논문 리뷰] Knowledge as Priors: Cross-Modal Knowledge Generalization for Datasets without Superior Knowledge

L. Zhao, Xi Peng외 3명|arXiv (Cornell University)|2020. 04. 01.

Human Pose and Action Recognition참고 문헌 58인용 수 8

한 줄 요약

이 논문은 소스 데이터셋에서 쌍모달(예: RGB와 깊이)를 가진 데이터에서 추출한 교차모달 지식을, 고급 모달이 없는 타겟 데이터셋(예: 오직 RGB)으로 전이하는 메타학습 방법인 Cross-Modal Knowledge Generalization(CMKG)을 제안한다. 메타최적화를 통해 추출된 지식을 파라미터 사전확률로 모델링함으로써, 타겟 도메인에서 고급 모달에 접근할 필요 없이도 3D 손 자세 추정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Cross-modal knowledge distillation deals with transferring knowledge from a model trained with superior modalities (Teacher) to another model trained with weak modalities (Student). Existing approaches require paired training examples exist in both modalities. However, accessing the data from superior modalities may not always be feasible. For example, in the case of 3D hand pose estimation, depth maps, point clouds, or stereo images usually capture better hand structures than RGB images, but most of them are expensive to be collected. In this paper, we propose a novel scheme to train the Student in a Target dataset where the Teacher is unavailable. Our key idea is to generalize the distilled cross-modal knowledge learned from a Source dataset, which contains paired examples from both modalities, to the Target dataset by modeling knowledge as priors on parameters of the Student. We name our method "Cross-Modal Knowledge Generalization" and demonstrate that our scheme results in competitive performance for 3D hand pose estimation on standard benchmark datasets.

연구 동기 및 목표

• 고급 모달(예: 깊이, 포인트 클라우드)이 없는 데이터셋으로 교차모달 지식을 전이하는 문제에 대응하기 위해.
• 쌍모달 소스 데이터에서 학습된 지식을 비쌍모달 타겟 데이터로 일반화하여 데이터셋 간 지식 전달을 가능하게 하기 위해.
• 쌍모달 RGB-깊이 데이터에서 유래한 지식을 활용해 오직 RGB만을 가진 데이터셋에서 3D 손 자세 추정 성능을 향상시키기 위해.
• 메타학습을 통해 일반화된 교차모달 지식를 정규화하는 파라미터 사전확률 설계를 개발하기 위해.

제안 방법

• 쌍모달(예: RGB와 깊이)을 가진 소스 데이터셋을 활용하여 티처-스터디 프레임워크를 통해 교차모달 지식을 추출한다.
• 메타학습 목표를 통해 추출된 지식을 스터디 네트워크의 파라미터에 대한 사전확률로 모델링한다.
• 학습 중 타겟 데이터셋의 검증 손실을 최소화하도록 사전확률 파라미터를 메타최적화한다.
• 학습 중 타겟 데이터셋에 대해 학습된 사전확률을 정규화 항으로 적용함으로써 일반화 성능을 향상시킨다.
• 스파arsity 유도 및 향상된 특징 학습을 촉진하기 위해 파라미터 수준의 사전확률 설정에 양성 및 음성 성분을 도입한다.
• 다양한 도메인 이동이 있는 타겟 데이터셋 간에 잘 일반화되는 사전확률을 학습하기 위해 메타학습 알고리즘을 활용한다.

실험 결과

연구 질문

• RQ1 소스 데이터셋에서 추출한 교차모달 지식가 타겟 데이터셋으로 고급 모달에 접근하지 못하는 상황에서도 효과적으로 일반화될 수 있는가?
• RQ2 쌍모달 데이터에서 유래한 지식를, 타겟 도메인에서 티처 모델이 필요 없이도 단모달 타겟 데이터셋으로 전이할 수 있는가?
• RQ3 메타학습된 파라미터 사전확률이 오직 RGB만을 가진 3D 손 자세 추정 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ4 소스와 타겟 데이터셋 간 도메인 이동 및 데이터 분포 차이에 따라 일반화된 지식 사전확률의 성능은 어떻게 달라지는가?

주요 결과

• CMKG는 3D 손 자세 추정에서 STB 벤치마크에서 SOTA 성능을 달성하여 오차 8.18 mm를 기록했으며, 이는 이전 방법들을 능가한다.
• FreiHAND 데이터셋에서, 학습된 사전확률을 적용했을 때 기준 오차 16.18 mm에서 14.18 mm로 감소하여 2.00 mm의 향상이 이루어졌다.
• FreiHAND의 다양한 도메인 간에서도 성능 향상이 잘 이루어졌으며, 도메인에 따라 오차 감소 폭은 0.10 mm에서 7.49 mm까지 다양했다.
• 시각화 결과, 정규화된 네트워크가 0을 중심으로 더 날카운 파라미터 분포를 학습하고 있음을 확인하여 효과적인 스파arsity 유도가 이루어졌음을 시사한다.
• 성능 향상 정도가 기본 L2 정규화의 효과성과 강하게 상관관계가 있음을 확인하여, 표준 최적화 절차와의 호환성이 높음을 시사한다.
• 타겟 데이터셋이 상당한 도메인 이동을 보일 경우에도 성능이 유지됨을 확인하여, 분포 차이에 대해 강건함을 입증한다.