[논문 리뷰] Rich Feature Construction for the Optimization-Generalization Dilemma

Jianyu Zhang, David López-Paz외 1명|arXiv (Cornell University)|2022. 03. 24.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 깊이 있는 신경망을 다양한 사전 훈련된 표현으로 초기화하는 빈자리 알고리즘(Bonsai 알고리즘)을 제안한다. 이 표현은 다수의 잠재적으로 유용한 특징을 포함한다. 특징 발견과 최적화를 분리함으로써, 이 방법은 분포 외(OoD) 일반화를 위한 더 단순하고 안정적인 훈련을 가능하게 하며, ColoredMNIST와 Camelyon17에서 여섯 가지 OoD 방법에 대해 일관되게 성능을 향상시키고, 하이퍼파rameter 민감도와 분산을 줄인다.

ABSTRACT

There often is a dilemma between ease of optimization and robust out-of-distribution (OoD) generalization. For instance, many OoD methods rely on penalty terms whose optimization is challenging. They are either too strong to optimize reliably or too weak to achieve their goals. We propose to initialize the networks with a rich representation containing a palette of potentially useful features, ready to be used by even simple models. On the one hand, a rich representation provides a good initialization for the optimizer. On the other hand, it also provides an inductive bias that helps OoD generalization. Such a representation is constructed with the Rich Feature Construction (RFC) algorithm, also called the Bonsai algorithm, which consists of a succession of training episodes. During discovery episodes, we craft a multi-objective optimization criterion and its associated datasets in a manner that prevents the network from using the features constructed in the previous iterations. During synthesis episodes, we use knowledge distillation to force the network to simultaneously represent all the previously discovered features. Initializing the networks with Bonsai representations consistently helps six OoD methods achieve top performance on ColoredMNIST benchmark. The same technique substantially outperforms comparable results on the Wilds Camelyon17 task, eliminates the high result variance that plagues other methods, and makes hyperparameter tuning and model selection more reliable.

연구 동기 및 목표

• 벌레 기반 방법이 안정적으로 최적화하기에 너무 강하거나 너무 약한 경우가 되는 분포 외(OoD) 학습에서 최적화-일반화 딜레마를 해결하기 위해.
• 하위 최적화를 위한 특징 선택을 단순화하기 위해, 풍부하고 다양한 표현을 제공함으로써 OoD 모델 훈련의 난이도를 줄이기 위해.
• 성능 분산을 줄임으로써 OoD 설정에서 하이퍼파rameter 튜닝과 모델 선택의 신뢰성을 향상시키기 위해.
• 사전 구성된 특징에서 유도되는 강력한 인덕티브 바이어스를 통해 OoD 및 표준 ERM 방법이 최상의 성능을 달성하도록 하기 위해.

제안 방법

• Bonsai 알고리즘은 특징 탐색과 융합을 번갈아 수행하는 방식으로 다양한 특징 세트를 구축한다.
• 탐색 라운드에서는 이전 라운드의 특징을 재사용하는 것을 방지하기 위해 다중 목적 기준을 설계하여 새로운 표현 탐색을 유도한다.
• 융합 라운드에서는 지식 정착 기법을 적용하여 하나의 네트워크가 이전에 발견된 모든 특징을 동시에 표현하도록 훈련시킨다.
• 최종 표현은 동결되어 하류 모델의 초기화에 사용되며, 추가 미세조정 없이도 강력한 인덕티브 바이어스를 제공한다.
• 이 방법은 분포 외 일반화 평가를 위해 합성 데이터(ColoredMNIST)와 실제 세계 데이터(Camelyon17) 벤치마크에 모두 적용된다.
• 성능 평가에는 OoD 및 IID 검증이 모두 사용되며, 하이퍼파ram터는 IID 또는 OoD 프로토콜을 통해 튜닝된다.

실험 결과

연구 질문

• RQ1 사전 훈련된 다양한 표현이 OoD 방법의 최적화 및 일반화 성능을 향상시킬 수 있는가?
• RQ2 Bonsai 알고리즘이 OoD 모델의 하이퍼파ram터 선택에 대한 민감도를 줄이는가?
• RQ3 동결된 풍부한 표현은 표준 ERM 방법의 OoD 벤치마크 성능을 향상시킬 수 있는가?
• RQ4 다양한 발견된 특징을 융합하는 융합 단계가 개별 탐색 라운드보다 성능을 크게 향상시키는가?
• RQ5 Bonsai 초기화가 OoD 설정에서 모델 선택 및 하이퍼파ram터 튜닝의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• Bonsai 초기화는 ColoredMNIST 벤치마크에서 여섯 가지 최첨단 OoD 방법의 분포 외 일반화 성능을 일관되게 향상시킨다.
• Camelyon17 데이터셋에서 Bonsai 초기화는 ERM이 이전에 발표된 최고의 결과에 도달하거나 초월하도록 하며, 이전 유사한 ERM 결과보다 약 5% 향상된 성능을 달성한다.
• Camelyon17에서 IRMv1, vREx, CLOvE의 OoD 테스트 정확도는 Bonsai 초기화를 사용할 경우 보다 안정적이며, 벌레 가중치 하이퍼파ram터에 대한 민감도가 크게 감소한다.
• IID 및 OoD 검증 성능의 분산이 Bonsai 초기화로 인해 크게 감소하여 실제 OoD 테스트 성능을 더 신뢰할 수 있는 지표로 만들었다.
• 융합 단계는 필수적이다: 개별 탐색 라운드(예: 라운드 1, 2, 3)에서 훈련된 모델은 각각 OoD 정확도 66.6±9.8, 73.2±5.7, 61.8±10.2를 기록했으나, 통합된 Bonsai 융합 표현을 사용할 경우 85.2%의 성능을 달성하여 유의미하게 높아졌다.
• Bonsai 표현이 동결되어 미세조정되지 않더라도, WILDS Camelyon17 랭킹에서 이전 ERM 결과를 초월하는 성능을 달성하여 풍부한 특징 구성에서 유도된 인덕티브 바이어스의 강력함을 입증한다.