[논문 리뷰] Deep Mutual Learning

Ying Zhang, Tao Xiang외 2명|arXiv (Cornell University)|2017. 06. 01.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 47

한 줄 요약

이 논문은 사전에 훈련된 교사 모델에 의존하지 않고, 여러 학생 네트워크가 실시간으로 소프트 레이블 정규화를 통해 상호 간에 가르치고 배우는 협동 훈련 전략인 딥 상호학습(Deep Mutual Learning, DML)을 제안한다. 이 방법은 상호 확률 매칭을 통해 보다 높은 사후 확률 엔트로피와 더 평탄한 최소값을 유도함으로써, 전통적인 정규화 방법과 독립적 훈련 방식을 뛰어넘는 우수한 일반화 능력과 성능을 달성한다. 이는 강력한 정적 교사 모델에서 유도된 모델조차도 뛰어넘는 성능을 내는 데 기여한다.

ABSTRACT

Model distillation is an effective and widely used technique to transfer knowledge from a teacher to a student network. The typical application is to transfer from a powerful large network or ensemble to a small network, that is better suited to low-memory or fast execution requirements. In this paper, we present a deep mutual learning (DML) strategy where, rather than one way transfer between a static pre-defined teacher and a student, an ensemble of students learn collaboratively and teach each other throughout the training process. Our experiments show that a variety of network architectures benefit from mutual learning and achieve compelling results on CIFAR-100 recognition and Market-1501 person re-identification benchmarks. Surprisingly, it is revealed that no prior powerful teacher network is necessary -- mutual learning of a collection of simple student networks works, and moreover outperforms distillation from a more powerful yet static teacher.

연구 동기 및 목표

• 모델 정규화의 한계를 해결하기 위해, 사전에 훈련된 강력한 교사 네트워크에 의존하는 기존 방법의 문제점을 다루기 위해.
• 정적 교사가 없거나 존재하지 않을 경우, 훈련되지 않은 학생 네트워크 간의 협동 학습이 일반화 능력과 성능 향상에 기여할 수 있는지 탐구하기 위해.
• 동료 간의 상호 정규화가 기존 정규화나 독립적 훈련보다 더 나은 모델을 도출할 수 있는지 조사하기 위해.
• 상호 학습이 손실 곡면에서 더 평탄하고 강건한 최소값을 어떻게 만들어내는지 메커니즘을 분석하기 위해.

제안 방법

• 각 학생 네트워크는 두 가지 손실을 사용하여 훈련된다: 진짜 레이블을 사용하는 표준 크로스 엔트로피 손실과, 동료 학생 네트워크의 예측 클래스 확률과 일치시키는 미미미 손실(mimicry loss).
• 미미미 손실은 동료 네트워크의 소프트 레이블을 사용하여 계산되며, 각 학생이 동료의 신뢰도 분포를 일치시키도록 유도하며, 이는 제2의(비기본) 클래스 확률까지 포함된다.
• 이 방법은 동일한 아키텍처뿐 아니라 이질적인 아키텍처(큰 네트워크와 작은 네트워크의 조합 포함)에도 적용 가능하다.
• DML_e라는 변형 버전은 개별 동료 네트워크가 아니라 동료 네트워크의 앙상블을 가르침 신호로 사용하지만, 표준 DML에 비해 성능이 열 劣하다.
• 이 접근법은 CIFAR-100과 Market-1501을 포함한 다양한 아키텍처와 데이터셋에 적용되었으며, 일관된 성능 향상이 관찰되었다.
• 이론적 분석은 DML의 성공이 더 높은 사후 엔트로피와 더 평탄한 최소값을 촉진함으로써 일반화 능력을 향상시킨다는 점을 밝혀냈다.

실험 결과

연구 질문

• RQ1 훈련되지 않은 단순한 학생 네트워크 코hort가 강력한 사전 훈련된 교사 모델에서 유도된 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 동료 간의 상호 학습이 독립적 훈련이나 표준 정규화보다 더 나은 일반화를 이끌어낼 수 있는가?
• RQ3 강력한 교사가 없고 무작위 초기화 상태에서 시작함에도 불구하고 상호 학습이 성능 향상에 기여하는 이유는 무엇인가?
• RQ4 왜 상호 정규화가 손실 곡면에서 더 평탄하고 강건한 최소값을 만들어내는가?
• RQ5 성능 향상은 코hort 내 네트워크 수에 따라 달라지며, 이질적인 아키텍처도 이득을 볼 수 있는가?

주요 결과

• DML로 훈련된 모델은 Market-1501에서 5개의 MobileNet을 사용할 경우 mAP가 85.6%에 이르며, 강력한 교사에서 유도된 모델이나 독립적으로 훈련된 모델보다 뛰어난 성능을 보였다.
• DML 모델은 CIFAR-100에서 사후 엔트로피가 1.7099로 나타났으며, 이는 독립적으로 훈련된 모델의 0.2602보다 훨씬 높아, 더 분포가 넓고 강건한 확률 추정을 의미한다.
• DML 모델은 파rameter의 펌핑에 더 강건하며, 가우시안 노이즈를 추가한 후 훈련 손실의 증가 폭이 작아, 더 평탄한 최소값을 가짐을 시사한다.
• 큰 네트워크인 ResNet-32 역시 상호 훈련을 통해 CIFAR-100과 Market-1501 양쪽에서 독립적 훈련된 버전을 뛰어넘는 성능을 보였다.
• DML로 훈련된 네트워크의 앙상블은 개별 모델보다 더 높은 성능을 달성했으며, 강력한 앙상블 능력을 보여주었다.
• DML_e는 앙상블을 가르침 신호로 사용하지만 표준 DML에 비해 성능이 열 劣하여, 개별 동료 신호가 앙상블 신호보다 일반화 능력을 더 효과적으로 향상시킨다는 점을 시사한다.