[논문 리뷰] FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization

Kecheng Zheng, Yang Cao외 3명|arXiv (Cornell University)|2022. 03. 24.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 도메인 일반화를 위한 주파수 인식형 MLP 유사 아키텍처인 FAMLP를 제안한다. 이는 도메인 특화 고주파 성분을 억제하기 위해 학습 가능한 푸리에 필터를 적용하고, 핵심 저주파 성분을 유지하기 위해 저질서 강화 모듈을 통합함으로써 도메인 불변 표현을 향상시킨다. 제안된 방법은 세 가지 벤치마크에서 기존 방법보다 3~9% 향상된 최신 기술 수준(SOTA) 성능을 달성하였으며, 이질적 데이터 환경에서 더 뛰어난 강건성과 일반화 성능을 보였다.

ABSTRACT

MLP-like models built entirely upon multi-layer perceptrons have recently been revisited, exhibiting the comparable performance with transformers. It is one of most promising architectures due to the excellent trade-off between network capability and efficiency in the large-scale recognition tasks. However, its generalization performance to heterogeneous tasks is inferior to other architectures (e.g., CNNs and transformers) due to the extensive retention of domain information. To address this problem, we propose a novel frequency-aware MLP architecture, in which the domain-specific features are filtered out in the transformed frequency domain, augmenting the invariant descriptor for label prediction. Specifically, we design an adaptive Fourier filter layer, in which a learnable frequency filter is utilized to adjust the amplitude distribution by optimizing both the real and imaginary parts. A low-rank enhancement module is further proposed to rectify the filtered features by adding the low-frequency components from SVD decomposition. Finally, a momentum update strategy is utilized to stabilize the optimization to fluctuation of model parameters and inputs by the output distillation with weighted historical states. To our best knowledge, we are the first to propose a MLP-like backbone for domain generalization. Extensive experiments on three benchmarks demonstrate significant generalization performance, outperforming the state-of-the-art methods by a margin of 3%, 4% and 9%, respectively.

연구 동기 및 목표

• 이질적 도메인 이동 환경에서 MLP 유사 모델의 낮은 일반화 성능 문제를 해결하기 위해, 도메인 특화 특징이 전이 성능을 저해하는 상황을 대비한다.
• 고정 주파수 필터링의 한계를 극복하기 위해, 입력 도메인 특성에 적응하는 학습 가능한 유연한 주파수 필터를 도입한다.
• 특징 맵의 SVD 분해를 기반으로 한 저질서 강화 모듈을 통합하여, 필터링 이후에도 필수 저주파 성분을 유지한다.
• 가중치가 부여된 이력 모델 상태를 활용한 모멘타 기반 정수 전략을 통해 훈련을 안정화하고, 파rameter 및 입력 변동에 대한 강건성을 향상시킨다.
• 이전에 CNN과 트랜스포머에 의해 지배되어 온 도메인 일반화를 위한 강력하고 효율적인 MLP 기반 백본을 구축한다.

제안 방법

• FAMLP 아키텍처는 각 MLP 블록 이전에 적응형 푸리에 필터 레이어를 통합하여, 빠른 푸리에 변환(FFT)을 통해 공간 특징을 주파수 도메인으로 변환한다.
• 실수부와 허수부를 모두 대상으로 학습 가능한 주파수 필터를 적용함으로써, 도메인에 맞게 고주파 성분을 적응적으로 억제할 수 있다. 이는 도메인 특화 정보를 담고 있는 고주파 성분을 감소시킨다.
• 저질서 강화(LRE) 모듈은 특징 맵의 SVD 분해를 통해 추출한 주요 저주파 성분을 융합하여, 필터링된 특징을 재구성한다.
• 모멘타 업데이트 전략은 이력 모델 상태의 가중 평균을 활용하여 도메인 불변 특징을 정수함으로써, 훈련 안정성과 강건성을 향상시킨다.
• 전체 아키텍처는 교차 엔트로피 손실과 지식 정수 손실을 함께 최적화하여, 학생 예측이 정수된 교사 출력과 일치하도록 한다.
• 이 방법은 엔드 투 엔드로 훈련 가능하며, 표준 MLP 블록과의 호환성을 고려하여 기존의 MLP 유사 백본에 즉각 통합할 수 있다.

실험 결과

연구 질문

• RQ1 학습 가능한 주파수 필터가 MLP 유사 모델에서 도메인 특화 고주파 성분을 효과적으로 억제하여 도메인 일반화 성능을 향상시킬 수 있는가?
• RQ2 주파수 필터링 이후 저질서 강화 통합이 도메인 이동 상황에서 특징의 무결성에 어떻게 기여하는가?
• RQ3 모멘타 기반 정수 전략이 도메인 일반화에서 최적화 안정성과 입력 및 파rameter 변동에 대한 강건성을 얼마나 향상시키는가?
• RQ4 MLP 유사 아키텍처가 CNN과 트랜스포머를 능가하거나 대체할 수 있는 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 특히 모멘타 및 정수 구성 요소에서 하이퍼파ram터 설정에 대해 제안된 방법이 얼마나 민감한가?

주요 결과

• FAMLP는 세 가지 도메인 일반화 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 각각 PACS, Office-Home, Digits-Domain에서 기존 방법보다 3%, 4%, 9% 향상된 성능을 기록하였다.
• 적응형 푸리에 필터는 다양한 도메인에서 고주파 성분을 뚜렷이 감소시켰으며, 도메인 내 일관된 억제 패턴과 도메인 간 상이한 반응을 보여, 도메인 인식형 필터링의 효과를 입증하였다.
• 저질서 강화 모듈은 저주파 성분의 과도한 억제를 효과적으로 완화하여, 분류에 유용한 정보를 유지하고 특징 품질을 향상시켰다.
• 모멘타 업데이트 전략은 최적화 안정성을 높여 입력 및 파rameter 변동에 대한 민감도를 감소시키며, 일관된 성능 향상을 기여하였다.
• 하이퍼파ram터 변화에 대해 매우 강건하여, λmd, τmd, η의 다양한 설정에서도 성능 변화가 미미하여 강력한 일반화 및 안정성을 보였다.
• 제거 실험 결과, 학습 가능한 주파수 필터와 저질서 강화 모듈이 독립적으로도 기여하며 상호 보완적으로 작용함을 확인하였으며, 평균적으로 각각 1.32%와 0.42%의 성능 향상을 기록하였다.