[논문 리뷰] AdaFilter: Adaptive Filter Fine-tuning for Deep Transfer Learning

Yunhui Guo, Yandong Li외 2명|arXiv (Cornell University)|2019. 11. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 5

한 줄 요약

AdaFilter는 입력 예시별로 선택적으로 일부 합성곱 필터만 최적화하는 재귀 게이트 네트워크를 사용하는 전이 학습을 위한 새로운 적응형 미세조정 방법이다. 입력 활성화에 기반해 동적으로 어떤 필터를 미세조정할지 선택함으로써 오버피팅을 줄이고 정확도를 향상시켜, 일곱 개인 이미지 분류 데이터셋을 통틀어 표준 미세조정 대비 평균 2.54%의 오차 감소를 달성한다.

ABSTRACT

There is an increasing number of pre-trained deep neural network models. However, it is still unclear how to effectively use these models for a new task. Transfer learning, which aims to transfer knowledge from source tasks to a target task, is an effective solution to this problem. Fine-tuning is a popular transfer learning technique for deep neural networks where a few rounds of training are applied to the parameters of a pre-trained model to adapt them to a new task. Despite its popularity, in this paper, we show that fine-tuning suffers from several drawbacks. We propose an adaptive fine-tuning approach, called AdaFilter, which selects only a part of the convolutional filters in the pre-trained model to optimize on a per-example basis. We use a recurrent gated network to selectively fine-tune convolutional filters based on the activations of the previous layer. We experiment with 7 public image classification datasets and the results show that AdaFilter can reduce the average classification error of the standard fine-tuning by 2.54%.

연구 동기 및 목표

• 작은 타겟 데이터셋에서 오버피팅 위험이 있는 표준 미세조정의 한계를 해결하기 위해, 모든 예시에 동일한 업데이트 정책을 적용하는 방식을 개선한다.
• 타겟 데이터셋의 서로 다른 예시들이 다른 사전 훈련된 필터 세트를 미세조정할 수 있도록 허용함으로써 더 효과적인 지식 전이를 가능하게 한다.
• 지능적인 필터 재사용을 통해 예시당 학습 가능한 파라미터 수를 줄여, 낮은 데이터 환경에서의 오버피팅을 완화한다.
• 층별 의존성을 모델링할 수 있는 경량이고 효율적인 정책 네트워크를 개발한다.
• 입력에 따라 변하는 적응형 미세조정 정책을 학습시켜 일반화 능력과 훈련 효율성을 향상시킨다.

제안 방법

• AdaFilter는 이전 층의 활성화에 기반해 필터 선택을 조건화하는 재귀 게이트 네트워크를 사용하여, 층별로 예시별로 어떤 필터를 미세조정할지 결정한다.
• 사전 훈련된 필터와 미세조정된 필터의 특징 맵을 별도로 정규화하는 게이트형 배치 정규화 레이어를 도입하여 소스 작업과 타겟 작업 간의 도메인 이동를 고려한다.
• 학습 가능한 게이트 메커니즘을 통해 각 필터당 이진 마스크를 출력하여, 필터를 재사용할지 또는 업데이트할지 결정한다.
• 재귀적 구조는 층 간의 은닉 상태를 유지하여, 특징 표현과 필터 관련성의 계층적 의존성을 모델링할 수 있다.
• 게이트 네트워크가 각 예시별로 어떤 필터를 업데이트할지 지시함으로써, 정책 네트워크는 백본 모델과 함께 표준 역전파를 사용해 엔드 투 엔드로 훈련된다.
• 이 방법은 예시당 효과적인 파라미터 수를 줄여 작은 데이터셋에서의 오버피팅을 감소시키며, 효율적인 미세조정을 지원한다.

실험 결과

연구 질문

• RQ1 표준 미세조정과 비교해, 예시별로 적응형 필터 선택이 전이 학습 성능을 향상시키는가?
• RQ2 입력 특성에 기반해 어떤 필터를 미세조정할지 동적으로 선택하는 것이 작은 타겟 데이터셋에서 더 나은 일반화를 이끌어내는가?
• RQ3 정책 생성에 재귀 게이트 네트워크를 사용하는 것과 CNN 기반 대안을 비교했을 때, 정확도와 파라미터 효율성 측면에서 어떤 차이가 있는가?
• RQ4 게이트형 배치 정규화가 사전 훈련된 특징과 타겟 특징 간의 분포 차이를 고려함으로써 성능 향상에 얼마나 기여하는가?
• RQ5 적응형 미세조정이 훈련 과정 전반에 걸쳐 일관되게 표준 미세조정을 능가하는가?

주요 결과

• AdaFilter는 일곱 개인 공개 이미지 분류 데이터셋을 통틀어 표준 미세조정 대비 평균 2.54%의 분류 오차 감소를 달성한다.
• 메트릭은 훈련의 모든 에포크에서 표준 미세조정을 능가하며, 더 효율적인 지식 전이와 더 나은 최적화 역학을 나타낸다.
• 게이트형 배치 정규화는 사전 훈련된 필터와 미세조정된 필터의 특징 맵을 별도로 정규화함으로써 표준 배치 정규화보다 정확도를 향상시키며, 일부 데이터셋에서 최대 0.42%의 성능 향상을 기록한다.
• 재귀 게이트 네트워크는 CNN 기반 정책 네트워크보다 높은 정확도를 달성하며, 경량이고 순차적인 설계 덕분에 훨씬 적은 파라미터를 사용한다.
• Caltech256-30과 Caltech256-60에서 정책 네트워크는 초기 층에서 더 많은 필터를 재사용하고, 더 깊은 층에서는 더 많은 필터를 미세조정함을 보여주며, 직관적인 작업 특화 적응을 반영한다.
• 제거 실험을 통해 재귀 게이트 메커니즘과 게이트형 배치 정규화가 모두 메서드의 뛰어난 성능을 위한 핵심 구성 요소임을 확인했다.