[논문 리뷰] On the Transferability of Representations in Neural Networks Between Datasets and Tasks

Haytham M. Fayek, Lawrence Cavedon외 1명|arXiv (Cornell University)|2018. 11. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 4

한 줄 요약

이 논문은 다양한 데이터셋과 작업(이미지 인식(CIFAR-10, CIFAR-100, SVHN) 및 음성 작업(ASR의 TIMIT, SER의 IEMOCAP)) 간에 딥 네ural 네트워크 표현의 계층별 전이 가능성에 대해 조사한다. 여러 ConvNet 아키텍처를 통해 점진적인 전이 학습을 수행한 결과, 전이 가능성은 비대칭적이며 주로 데이터셋/작업 유사성에 의해 결정되며, 네트워크 아키텍처보다는 초기 레이어에서 더 높은 전이 가능성을 보임을 발견하였다.

ABSTRACT

Deep networks, composed of multiple layers of hierarchical distributed representations, tend to learn low-level features in initial layers and transition to high-level features towards final layers. Paradigms such as transfer learning, multi-task learning, and continual learning leverage this notion of generic hierarchical distributed representations to share knowledge across datasets and tasks. Herein, we study the layer-wise transferability of representations in deep networks across a few datasets and tasks and note some interesting empirical observations.

연구 동기 및 목표

• 딥 네트워크에서 학습된 표현이 다양한 데이터셋과 작업 간에 어떻게 전이되는지 분석하기 위해.
• 전이 가능성의 대칭성 또는 비대칭성이 데이터셋과 작업 간에 존재하는지 조사하기 위해.
• 전이 가능성에 영향을 주는 요인으로 데이터셋/작업 유사성과 신경망 아키텍처 중 어느 것이 더 강력한지 평가하기 위해.
• 계층별 전이 가능성의 활용이 작업 유사성 측정의 대체 지표로 유용한지 탐색하기 위해.
• 다양한 아키텍처를 사용하여 컴퓨터 비전 및 음성 처리 작업 모두에서 전이 가능성 평가하기 위해.

제안 방법

• 점진적 전이 학습이 사용되며, 한 데이터셋/작업에서 미리 훈련된 모델의 특징을 초기 레이어 수를 점차 늘리며 다른 데이터셋/작업으로 전이한다.
• 각 데이터셋/작업 쌍에 대해 첫 $ l_c \in \{0,\dots,L_H\} $ 레이어가 고정되고 나머지 레이어는 미세조정된다.
• 발견의 아키텍처에 대한 강건성을 평가하기 위해 두 가지 ConvNet 아키텍처—Model A(표준) 및 Model B(VGGNet 유사)—를 사용한다.
• 표준화된 전처리 및 훈련 프로토콜을 사용하여 이미지 데이터셋(CIFAR-10, CIFAR-100, SVHN) 및 음성 데이터셋(TIMIT의 ASR, IEMOCAP의 SER)에서 실험을 수행한다.
• 분류 정확도를 계산하여 고정된 레이어 수에 따라 성능를 측정함으로써 각 레이어의 전이 가능성을 평가한다.
• 교차 검증 및 표준화된 데이터 분할(예: IEMOCAP의 8중 이외의 스피커 제거)을 통해 평가의 신뢰성을 확보한다.

실험 결과

연구 질문

• RQ1 두 데이터셋 또는 작업 간 표현의 전이 가능성은 대칭적인가, 아니면 한 방향에서 더 유리한가?
• RQ2 데이터셋 또는 작업의 성격이 신경망 아키텍처보다 계층별 전이 가능성에 더 큰 영향을 미치는가?
• RQ3 계층별 전이 가능성은 작업 유사성 측정의 신뢰할 수 있는 대체 지표로 활용될 수 있는가?
• RQ4 동일한 작업 쌍에 대해 다양한 신경망 아키텍처에서 전이 가능성은 어떻게 달라지는가?
• RQ5 비전 및 음성 작업 모두에서 깊이 있는 네트워크의 레이어 간 전이 가능성 패턴은 어떠한가?

주요 결과

• 데이터셋 간 전이 가능성은 비대칭적이다: CIFAR-10과 CIFAR-100의 표현은 SVHN으로의 전이가 더 높은 반면, 반대 방향은 그렇지 않다. 이는 CIFAR 클래스가 일반적인 성격을 지닌 데 반해 SVHN은 숫자에 특화되어 있기 때문이다.
• 데이터셋 또는 작업의 성격이 신경망 아키텍처보다 전이 가능성에 더 강력한 영향을 미친다. Model A와 Model B 모두 유사한 전이 가능성 경향을 보였다.
• 딥 네트워크의 초기 레이어는 더 깊은 레이어보다 유의미하게 더 높은 전이 가능성을 보이며, 이는 테스트된 모든 데이터셋과 아키텍처에서 일관되게 관찰되었다.
• 전이 가능성은 깊이에 따라 점진적으로 감소하며, 일반적인 표현에서 작업에 특화된 표현으로의 계층적 특징 진행을 시사한다.
• 계층별 전이 가능성 패턴은 이미지 인식과 음성 처리 모두에서 일관되며, 깊이 있는 표현에서 일반화 가능한 행동을 나타낸다.
• 전이 가능성 대체 지표는 작업 유사성을 효과적으로 반영한다. 유사한 작업 간(예: CIFAR-10과 CIFAR-100)은 높은 전이 가능성이 관찰되었고, 비유사한 작업 간(예: SVHN과 CIFAR-10)은 낮은 전이 가능성이 관찰되었다.