[논문 리뷰] Everything old is new again: A multi-view learning approach to learning using privileged information and distillation

Weiran Wang|arXiv (Cornell University)|2019. 03. 08.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 3

한 줄 요약

이 논문은 정규화된 경험적 위험 최소화(RERM) 목적함수를 통해 학생 및 교사 예측기 간의 일치를 유도함으로써 학습 시 사전 정보를 활용하는(LUPI) 방법과 지식 정련을 통합하는 통합적인 다중 시각 학습 프레임워크를 제안한다. 모델 성능에 대한樂觀적 가정 하에, 정규화된 방법을 통해 효과적인 가설 공간을 축소함으로써 수렴 속도가 향상되며, 특히 O(1/n) 수준의 개선된 수렴 속도를 달성한다.

ABSTRACT

We adopt a multi-view approach for analyzing two knowledge transfer settings---learning using privileged information (LUPI) and distillation---in a common framework. Under reasonable assumptions about the complexities of hypothesis spaces, and being optimistic about the expected loss achievable by the student (in distillation) and a transformed teacher predictor (in LUPI), we show that encouraging agreement between the teacher and the student leads to reduced search space. As a result, improved convergence rate can be obtained with regularized empirical risk minimization.

연구 동기 및 목표

• LUPI와 지식 정련을 동일한 다중 시각 학습 프레임워크 아래 통합 분석하기.
• 교사 및 학생 예측기 간의 일치가 최적 모델 탐색 공간을 어떻게 줄이는지 조사하기.
• LUPI 및 정련 설정 모두에서 더 빠른 수렴 속도(O(1/n))를 달성할 수 있는 이론적 조건 설정하기.
• 주성분 분석(CCA)이 모델 복잡도 제어 및 일반화 향상에 어떻게 기여하는지 수식화하기.
• 예측 불일치를 기반으로 한 실용적이고 최적화 가능한 정규화자 제공하여 양 측면에서 일반화 성능 향상 달성하기.

제안 방법

• 표준 특징과 LUPI의 사전 정보 또는 정련에서의 소프트 타겟을 입력 데이터의 두 시각으로 간주하기.
• 학생 및 교사 예측 간 제곱 차이를 페널티로 삼는 정규화된 경험적 위험 최소화(RERM) 목적함수 설정하기.
• 주성분 분석(CCA)을 사용해 가설 클래스의 복잡도를 제어하는 좌표계 정의하기.
• 樂觀적 성능 가정: 정련에서는 학생이 낮은 기대 손실을 달성할 수 있으며, LUPI에서는 변환된 교사 예측기가 잘 작동한다고 가정하기.
• 정규화가 O(1/n) 수렴 속도를 달성할 수 있는 최적 손실 값의 범위를 넓힌다는 수렴 경계 유도하기.
• 주성분 분석에서의 상관관계 λ₁ < 1일 경우 정규화자가 강凸성을 보임을 증명하여 효과적인 복잡도 제어 보장하기.

실험 결과

연구 질문

• RQ1 LUPI와 지식 정련이 단일 다중 시각 학습 프레임워크 아래 공식적으로 통합될 수 있는가?
• RQ2 학생 및 교사 예측기 간의 일치를 유도할 경우 어떤 조건에서 수렴 속도가 빨라지는가?
• RQ3 주성분 분석(CCA)이 가설 공간 내 복잡도 제어에 어떻게 기여하는가?
• RQ4 교사 및 학생 성능에 대한樂관적 가정이 수렴 속도에 어떤 영향을 미치는가?
• RQ5 예측 불일치를 기반으로 한 단순하고 미분 가능한 정규화자가 LUPI 및 정련 양 측면에서 표준 ERM보다 우수한 성능을 낼 수 있는가?

주요 결과

• 예측 불일치 정규화자를 갖는 제안된 RERM 프레임워크는樂관적 가정 하에 표준 ERM보다 더 빠른 O(1/n) 수렴 속도를 달성한다.
• 두 시각 간의 일치로 인해 효과적인 가설 공간이 축소되어 일반화 성능 향상과 더 빠른 학습이 가능해진다.
• 주성분 분석 상관관계 λ₁ < 1일 경우 정규화자가 학생 및 교사 파라미터 모두에 대해 강凸성을 보이며, 더 날카로운 일반화 경계 확보가 가능하다.
• 가설 클래스의 복잡도는 특히 S² ≪ B²일 경우, 사전 정보 시각의 분산(S²)에 의해 효과적으로 제어되며, 이는 Lemma 10에서 보여진다.
• 기대 손실에 대한 유도된 경계는 O(α/n + √(αL*/n))이며, 여기서 α는 모델 및 데이터 성질의 함수로, 기준 방법 대비 향상된 수렴 성능을 보여준다.
• 이 방법은 쌍화된 데이터를 초월하여, 쌍이 맞지 않거나 불균형한 레이블이 있는 데이터 세트로도 확장 가능하다.