[논문 리뷰] Toward Learning Human-aligned Cross-domain Robust Models by Countering Misaligned Features

Haohan Wang, Zeyi Huang외 3명|arXiv (Cornell University)|2021. 11. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 5

한 줄 요약

이 논문은 인간의 인식과 일치하는 특징 정렬을 통합하여 기계 학습에서 다중 도메인에 대한 강건성을 향상시키는 새로운 일반화 오차 경계를 제안한다. 인간의 인식과 관련이 없는 특징이지만 모델이 악용하는 '비일치 특징'을 식별하고 이를 방지함으로써, 인간 중심의 학습과 강건한 일반화 사이의 체계적인 프레임워크를 제시한다. 실험적 검증을 통해 데이터 증강과 가설 공간 정규화를 조합했을 때 기존 방법보다 향상된 성능을 보였다.

ABSTRACT

Machine learning has demonstrated remarkable prediction accuracy over i.i.d data, but the accuracy often drops when tested with data from another distribution. In this paper, we aim to offer another view of this problem in a perspective assuming the reason behind this accuracy drop is the reliance of models on the features that are not aligned well with how a data annotator considers similar across these two datasets. We refer to these features as misaligned features. We extend the conventional generalization error bound to a new one for this setup with the knowledge of how the misaligned features are associated with the label. Our analysis offers a set of techniques for this problem, and these techniques are naturally linked to many previous methods in robust machine learning literature. We also compared the empirical strength of these methods demonstrated the performance when these previous techniques are combined, with an implementation available at https://github.com/OoDBag/WR

연구 동기 및 목표

• 인간의 인식과 일치하지 않는 특징으로 인해 분포 외 데이터에서 성능 저하가 발생하는 문제를 해결하기 위해, 인간의 인식과 비일치하는 특징을 식별한다.
• 인간 지식을 반영하여 어떤 특징이 관련이 없는지에 대한 정보를 통합함으로써, 다중 도메인 설정에서 일반화 오차를 체계적으로 정의한다.
• 비일치 특징에 대한 의존도를 최소화함으로써 모델의 강건성을 향상시키는 체계적인 방법을 개발한다.
• 제안된 방법이 기존의 강건한 학습 기법과 어떻게 연결되는지 보여주며, 이론적 및 실험적 우월성을 입증한다.
• 데이터 증강과 가설 공간 정규화를 조합한 방법의 효과성을 실험적으로 검증한다.

제안 방법

• 모델 예측 특징과 인간 중심의 특징 간의 이질성을 측정하는 항목을 포함한 새로운 일반화 오차 경계를 유도한다.
• 라벨 연관성에 기반하여 인간 판단과 비일치하는 특징에 의존하는 모델을 방지하기 위한 손실 항목을 도입한다.
• 최악의 경우 데이터 증강(예: 주파수 기반 변형)을 적용하여 비일치 특징 악용에 대한 강건성을 확보한다.
• 데이터 증강과 가설 공간 정규화를 조합하여 분포 이탈 상황에서의 일반화 성능을 향상시킨다.
• 다양한 반경을 가진 주파수 기반 변형을 사용하여 인간이 인지하지 못하는 비일치 특징에 대한 강건성을 시뮬레이션하며, 이는 이전 연구에서 영감을 받았다.
• 데이터 증강과 정규화를 통합한 히우리스틱(WR)을 설계하였으며, 벤치마크 데이터셋에서 실험적으로 검증되었다.

실험 결과

연구 질문

• RQ1 비일치 특징(인간의 인식과 관련이 없지만 모델이 악용하는 특징)이 다중 도메인 일반화에 미치는 영향을 체계적으로 정의하고 측정할 수 있는가?
• RQ2 기존의 일반화 오차 경계를 인간 중심의 특징 선호도를 통합함으로써 확장하여 모델의 강건성을 향상시킬 수 있는가?
• RQ3 기존의 강건한 학습 기법(예: 적대적 훈련, 데이터 증강)은 인간 중심의 특징 학습 문제와 어떻게 관련이 있는가?
• RQ4 데이터 증강과 가설 공간 정규화를 조합했을 때 인간 인식과의 일치성을 향상시키는 데 있어 실험적 성능는 어떠한가?
• RQ5 인간 판단과 모델 일반화를 연결하는 체계적인 프레임워크는 분포 외 설정에서 더 강건한 성능을 이끌어낼 수 있는가?

주요 결과

• 제안된 일반화 오차 경계는 레이블과의 비일치 특징 연관성을 명시적으로 반영하는 항목을 포함하여 인간 인식과의 일치도를 향상시킨다.
• 데이터 증강과 가설 공간 정규화를 조합한 방법이 개별 방법보다 더 강력한 실험적 성능을 보임을 입증하였다.
• AugMix와 같은 더 복잡한 변형 전략을 사용하는 방법보다 단순한 전략을 채택한 제안된 히우리스틱(WR)이 네 가지 테스트 시나리오에서 평균 성능에서 뛰어난 성능을 보였다.
• 실험 결과, 다양한 반경을 가진 주파수 기반 변형이 인간이 인지하지 못하는 비일치 특징에 대한 모델의 의존도를 효과적으로 억제함을 확인하였다.
• 기존의 강건한 학습 기법과 인간 중심의 학습을 연결하는 프레임워크는 이론적이고 실용적인 일관성을 보였다.
• 연구는 인간이 관련이 없다고 판단하는 특징에 대한 의존도를 명시적으로 차단함으로써 모델의 분포 이탈에 대한 강건성을 향상시킬 수 있음을 확인하였다.