[논문 리뷰] Deep Model Transferability from Attribution Maps

Jie Song, Yixin Chen외 3명|arXiv (Cornell University)|2019. 09. 26.

Domain Adaptation and Few-Shot Learning인용 수 19

한 줄 요약

이 논문은 사전 훈련된 네트워크를 속성 맵 거리 기반의 모델 공간에 투영하여, 인코딩된 데이터가 필요 없는 가벼운 방법으로 딥 모델 이행 가능성(transferability)을 추정한다. Taskonomy와 달리 광범위한 지도 학습이 필요로 하지 않으며, 레이블이 없는 데이터와 속성 맵을 사용해 몇 초 내로 이행 가능성 추정이 가능하여, Taskonomy에 비해 수 개의 주기적 속도 향상을 이끌어내며, 이행 가능성의 위상(topology)은 Taskonomy와 유사하게 유지된다.

ABSTRACT

Exploring the transferability between heterogeneous tasks sheds light on their intrinsic interconnections, and consequently enables knowledge transfer from one task to another so as to reduce the training effort of the latter. In this paper, we propose an embarrassingly simple yet very efficacious approach to estimating the transferability of deep networks, especially those handling vision tasks. Unlike the seminal work of taskonomy that relies on a large number of annotations as supervision and is thus computationally cumbersome, the proposed approach requires no human annotations and imposes no constraints on the architectures of the networks. This is achieved, specifically, via projecting deep networks into a model space, wherein each network is treated as a point and the distances between two points are measured by deviations of their produced attribution maps. The proposed approach is several-magnitude times faster than taskonomy, and meanwhile preserves a task-wise topological structure highly similar to the one obtained by taskonomy. Code is available at https://github.com/zju-vipa/TransferbilityFromAttributionMaps.

연구 동기 및 목표

• 인간이 애너테이션한 데이터에 의존하지 않고도 확장성 있고 효율적인 딥 러닝 모델 간 이행 가능성 추정 방법을 개발하는 것.
• 특히 컴퓨터 비전 분야에서 이질적인 아키텍처와 작업 간 이행 가능성 추정을 가능하게 하는 것.
• Taskonomy와 같은 기존 방법이 요구하는 광범위한 훈련과 지도 학습으로 인한 계산 부담을 줄이는 것.
• 가장 가까운 이웃 기반의 계산을 통해 재훈련 없이도 빠르게 모델 삽입 또는 업데이트가 가능한 동적 모델 라이브러리 지원.
• 속성 맵이 모델 유사성과 이행 가능성의 신뢰할 수 있는 대체 지표로 기능할 수 있는지 검증하는 것.

제안 방법

• 모든 사전 훈련된 딥 네트워크를 공유 모델 공간에 투영하여 각 네트워크를 한 점으로 표현한다.
• 프로브 데이터셋에서 얻은 레이블이 없는 입력 이미지를 사용해 각 모델의 속성 맵을 계산한다.
• 모델 공간 내에서 모델 간 거리를 그들의 속성 맵 차이의 L2 노름으로 측정한다.
• 이 거리를 이행 가능성의 대체 지표로 사용하며, 유사한 주의 패턴이 높은 이행 가능성 잠재력을 암시한다고 가정한다.
• 아키텍처 제약 없이 또는 재훈련 없이 이질적인 아키텍처와 작업을 지원한다.
• 모델 삽입/업데이트를 위해 모델 공간 내에서 가장 가까운 이웃 검색을 활용하여 모든 쌍 간 이행 가능성 재훈련을 피한다.

실험 결과

연구 질문

• RQ1 속성 맵이 딥 모델 간 이행 가능성 측정에 효과적이고 효율적인 대체 지표로 기능할 수 있는가?
• RQ2 제안된 방법은 이행 가능성 위상 정확도와 계산 효율성 측면에서 Taskonomy와 비교해 어떻게 성능을 내는가?
• RQ3 이 방법은 Taskonomy 벤치마크를 넘어서, 다른 아키텍처나 입력 크기를 가진 모델들로도 일반화되는가?
• RQ4 프로브 데이터셋의 선택과 속성 방법의 변화에 대해 이 방법은 얼마나 강인한가?
• RQ5 이 방법은 빈번한 업데이트 또는 삽입이 이루어지는 동적 모델 라이브러리 지원이 가능한가?

주요 결과

• 제안된 방법은 Taskonomy와 매우 유사한 이행 가능성 위상을 달성하며, Taskonomy 벤치마크에서 상관계수 0.93를 기록한다.
• Taskonomy보다 수 개의 주기적 속도 향상을 이끌어내어 재훈련 없이 거의 즉각적인 이행 가능성 추정이 가능하다.
• COCO 또는 실내 환경 데이터를 프로브 세트로 사용할 경우, Taskonomy 자체의 프로브 데이터보다 더 나은 이행 가능성 추정 결과를 얻었으며, 이는 더 풍부한 무늬 복잡성 때문일 것이다.
• 특히 기울기×입력(gradient*input) 및 ε-LRP 속성 방법을 사용할 경우, SVCCA보다 유사하거나 더 우수한 이행 가능성 추정 성능을 보였다.
• 동일한 작업에서 훈련된 모델들, 심지어 다른 아키텍처나 데이터 도메인을 가진 경우에도 모델 공간 내에서 서로 뭉쳐져 있어 일관된 주의 패턴을 나타낸다.
• ImageNet에서 훈련된 분류 모델들, 아키텍처에 관계없이 빽빽이 뭉쳐져 있어 표현 학습에서 공통된 인덕티브 바이어스를 공유하고 있음을 시사한다.