[논문 리뷰] Representation Similarity Analysis for Efficient Task taxonomy & Transfer Learning

Kshitij Dwivedi, Gemma Roig|arXiv (Cornell University)|2019. 04. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 18

한 줄 요약

이 논문은 전이 학습을 위한 사전 훈련된 모델을 효율적으로 순위 매기기 위해, 추가 훈련 없이 몇 장의 이미지만을 사용하여 학습된 표현 간 상관관계 기반 유사도 점수를 계산하는 표현 유사도 분석(RSA) 방법을 제안한다. 주요 기여는 RSA 유사도가 전이 학습 성능을 강하게 예측한다는 점으로, Taskonomy 및 Pascal VOC에서 검증되었으며, 도메인 차이가 있는 상황에서 동일 작업에서 훈련된 모델보다 RSA 점수가 높은 모델이 성능이 뛰어나다는 것이 입증되었다.

ABSTRACT

Transfer learning is widely used in deep neural network models when there are few labeled examples available. The common approach is to take a pre-trained network in a similar task and finetune the model parameters. This is usually done blindly without a pre-selection from a set of pre-trained models, or by finetuning a set of models trained on different tasks and selecting the best performing one by cross-validation. We address this problem by proposing an approach to assess the relationship between visual tasks and their task-specific models. Our method uses Representation Similarity Analysis (RSA), which is commonly used to find a correlation between neuronal responses from brain data and models. With RSA we obtain a similarity score among tasks by computing correlations between models trained on different tasks. Our method is efficient as it requires only pre-trained models, and a few images with no further training. We demonstrate the effectiveness and efficiency of our method for generating task taxonomy on Taskonomy dataset. We next evaluate the relationship of RSA with the transfer learning performance on Taskonomy tasks and a new task: Pascal VOC semantic segmentation. Our results reveal that models trained on tasks with higher similarity score show higher transfer learning performance. Surprisingly, the best transfer learning result for Pascal VOC semantic segmentation is not obtained from the pre-trained model on semantic segmentation, probably due to the domain differences, and our method successfully selects the high performing models.

연구 동기 및 목표

• 비용이 많이 드는 미세조정 없이 전이 학습을 위한 최적의 사전 훈련된 모델을 선택하는 데 도전하는 것.
• 사전 훈련된 모델과 몇 장의 이미지만을 사용하여 다양한 시각적 작업 간의 관계를 추정하는 효율적인 방법을 개발하는 것.
• RSA를 통해 측정된 표현 유사도가 하류 전이 학습 성능과 강하게 상관됨을 보여주는 것.
• 동일 작업에서 훈련된 모델이 도메인 차이로 인해 항상 최고의 일반화를 보이지 않으며, RSA가 더 나은 대안을 식별할 수 있음을 보여주는 것.

제안 방법

• 사전 훈련된 모델의 깊은 신경망 표현 간 상관관계 기반 유사도 점수를 계산하기 위해 표현 유사도 분석(RSA)을 사용한다.
• 추가적인 미세조정이나 훈련 없이 각 작업에서 무작위로 선택된 몇 장의 이미지만을 사용하여 유사도 점수를 계산한다.
• Taskonomy 데이터셋에서 다양한 시각적 작업(예: 분류, 세분화, 깊이 추정 등)에서 훈련된 모델의 표현을 비교하기 위해 RSA를 적용한다.
• Pascal VOC에서 훈련된 소형 경량 모델을 기준으로 하여 Taskonomy 모델과의 유사도 점수를 계산한다.
• 기준 모델과의 RSA 유사도 점수에 따라 모델을 순위 매겨 전이 학습을 위한 효율적인 모델 선택을 가능하게 한다.
• 다양한 모델 크기, 이미지 수, 훈련 단계에서의 변화에 대해 복수의 분석을 통해 방법의 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 RSA는 미세조정 없이 시각적 작업 간의 유사도를 효율적으로 추정하는 데 사용될 수 있는가?
• RQ2 RSA 유사도 점수는 하류 전이 학습 성능과 상관관계가 있는가?
• RQ3 모델 크기, 이미지 수, 훈련 단계의 변화에 대해 유사도 순위는 강건한가?
• RQ4 특히 도메인 차이 상황에서 RSA는 동일 작업에서 훈련된 모델보다 더 나은 사전 훈련된 모델을 식별할 수 있는가?
• RQ5 기존의 Taskonomy와 비교해 계산 효율성은 뛰어나면서도 예측 정확도는 유지하는가?

주요 결과

• Taskonomy의 17개 작업 중 16개에서 RSA로 선택된 모델이 실제 전이 학습 성능 기준 상위 5개 이내에 포함되었다.
• 17개의 Taskonomy 작업 전반에서 RSA 유사도 점수와 전이 학습 성능 간 강한 상관관계(ρ = 0.70, rs = 0.76)를 관찰했다.
• Pascal VOC의 세분화 작업에서 RSA 유사도 점수가 높은 모델이 더 높은 mIoU 점수를 기록했으며, 최고 성능을 낸 모델(장면 분류)은 0.6529의 mIoU를 기록했다.
• Taskonomy의 세분화 모델은 대부분의 3D 및 세분화 작업보다 낮은 RSA 점수를 보이며 전이 성능이 떨어졌고, 이는 도메인 차이 효과를 시사한다.
• 높은 RSA 점수를 가진 작업(예: 객체 분류, 장면 분류)에서 초기화된 모델은 일부 경우에서 ImageNet 사전 훈련된 모델보다 성능이 뛰어났으며, mIoU는 0.6529에 도달했고, 무작위 초기화 모델은 0.6083이었다.
• 작은 모델이 적은 이미지로도 큰 모델과 유사한 유사도 순위를 도출함으로써, 방법이 모델 크기와 훈련 데이터 양에 대해 강건함을 입증했다.