[논문 리뷰] Distributed Deep Transfer Learning by Basic Probability Assignment

Arash Shahriari|arXiv (Cornell University)|2017. 10. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 3

한 줄 요약

이 논문은 증거 이론에서 유래한 기본 확률 할당(Basic Probability Assignment, BPA)을 사용하여 병렬로 역전파하면서 개별적으로 전이 학습을 위한 컨볼루션 필터를 미세조정하는 분산 딥 전이 학습 프레임워크를 제안한다. BPA를 활용해 클래스 불균형 문제를 완화하고 최적화 복잡도를 감소시킴으로써, 특히 불균형 및 교차 도메인 설정에서 표준 전이 학습 대비 일관된 성능 향상을 달성한다.

ABSTRACT

Transfer learning is a popular practice in deep neural networks, but fine-tuning of large number of parameters is a hard task due to the complex wiring of neurons between splitting layers and imbalance distributions of data in pretrained and transferred domains. The reconstruction of the original wiring for the target domain is a heavy burden due to the size of interconnections across neurons. We propose a distributed scheme that tunes the convolutional filters individually while backpropagates them jointly by means of basic probability assignment. Some of the most recent advances in evidence theory show that in a vast variety of the imbalanced regimes, optimizing of some proper objective functions derived from contingency matrices prevents biases towards high-prior class distributions. Therefore, the original filters get gradually transferred based on individual contributions to overall performance of the target domain. This largely reduces the expected complexity of transfer learning whilst highly improves precision. Our experiments on standard benchmarks and scenarios confirm the consistent improvement of our distributed deep transfer learning strategy.

연구 동기 및 목표

• 복잡한 계층 간 연결성과 매개변수 결합으로 인해 대규모 딥 네ural 네트워크의 미세조정에 높은 계산 복잡도가 발생하는 문제를 해결한다.
• 원천 도메인과 대상 도메인 간의 클래스 불균형으로 인한 전이 학습의 성능 저하를 완화한다.
• 전이 학습의 비볼록 최적화 문제를 분산된 개별 필터 미세조정으로 분해하면서도 공동 역전파를 유지한다.
• 증거 이론을 통해 기본 확률 할당(BPA)을 통합하여 불균형 데이터 분포를 더 잘 다루고 전이 학습의 일반화 및 정밀도를 향상시킨다.
• MNIST, SVHN, CIFAR 데이터셋을 포함한 다양한 실제 벤치마크에서 일관된 성능 향상을 입증한다.

제안 방법

• 전이 학습의 비볼록 최적화 복잡도를 감소시키기 위해 컨볼루션 필터를 개별적으로 미세조정한다.
• 혼동 행렬에서 유도된 오류 비용을 통합한 비용 민감한 기법을 사용해 모든 필터를 공동으로 역전파한다.
• 증거 이론에서 유래한 기본 확률 할당(BPA)을 적용하여, 대상 도메인에서의 성능에 기반해 필터 기여도에 확률적 가중치를 할당한다.
• 분류 결과에서 연간 행렬(혼동 행렬)을 구성하여 BPA를 지도하며, 불균형한 클래스 간 성능을 정규화한다.
• 혼동 행렬을 활용해 정밀도, 재현율 및 기각률을 유도하여 편향이 높은 사전 확률 클래스에 기울어지지 않는 정보 기반의 확률 할당을 가능하게 한다.
• 극도로 불균형한 설정에서는 BPA 계산 시 훈련 및 검증 데이터셋을 통합하여 데이터 분포 이동을 더 잘 포착한다.

실험 결과

연구 질문

• RQ1 개별 컨볼루션 필터의 분산 미세조정 전략은 딥 네트워크에서 전이 학습의 계산 부담을 줄일 수 있는가?
• RQ2 증거 이론에서 유래한 기본 확률 할당(BPA)은 불균형 전이 학습 시나리오에서 성능을 어떻게 향상시키는가?
• RQ3 개별적으로 미세조정된 필터를 공동으로 역전파하는 전략은 정밀도 및 일반화 측면에서 표준 엔드 투 엔드 미세조정보다 뛰어나게 작용하는가?
• RQ4 혼동 행렬과 BPA의 사용은 원천 도메인과 대상 도메인 간 클래스 분포가 크게 다를 경우 모델 성능에 어떤 영향을 미치는가?
• RQ5 훈련 데이터셋 뿐만 아니라 검증 데이터셋까지 포함해 BPA를 계산하면, 극도로 불균형한 전이 작업에서 훈련 전용 데이터셋 대비 더 나은 일반화를 이끌 수 있는가?

주요 결과

• 분산 역전파 전략은 특히 MNIST에서 SVHN, CIFAR-100으로의 전이 작업에서 표준 역전파 전략보다 뚜렷이 뛰어난 성능을 보였다.
• MNIST → SVHN 전이 작업에서 분산 전략은 테스트 오차를 표준 방식의 29.57%에서 5.18%로 감소시켜 불균형 조건 하에서도 강력한 일반화 능력을 입증했다.
• CIFAR-10 → CIFAR-100 전이 작업에서는 분산 전략이 표준 역전파 대비 테스트 오차 68.44%에서 54.32%로 향상되어 도메인 이동 조건에서도 성능 향상을 보였다.
• CIFAR-100 → SVHN 전이 작업에서는 분산 전략이 표준 방식의 테스트 오차 12.18%를 7.25%로 감소시켜 데이터 분포 불일치 문제를 더 잘 다루는 것으로 나타났다.
• 훈련 및 검증 데이터셋을 모두 통합해 BPA를 계산한 결과, 특히 원천 클래스 수가 적고 대상 클래스 수가 많은 경우에 훈련 전용 데이터셋 대비 더 나은 성능을 기록했다.
• CIFAR-10에서 MNIST로의 전이 작업에서 기준 모델과 유사한 성능을 달성해, 비유사 작업 간에도 효과적인 지식 전이가 이루어졌음을 시사한다.