[논문 리뷰] In Search for a Generalizable Method for Source Free Domain Adaptation

Malik Boudiaf, Tom Denton외 3명|arXiv (Cornell University)|2023. 02. 13.

Speech and Audio Processing인용 수 6

한 줄 요약

이 논문은 노이지 슈도(Noisy Student) 프레임워크에 라플라시안 정규화를 적용하여 일반화 성능을 향상시키는 새로운 소스 프리 도메인 어댑테이션(SFDA) 방법인 NOTELA를 제안한다. 이는 과도한 생물음향 분포 이동과 시각 벤치마크에서 기존 방법들을 크게 능가하며, 다양한 도메인에서 강력한 성능을 유지한다. 연구는 현재 SFDA 방법들이 모odal 간 및 이동 유형 간 일반화 능력이 떨어지며, 시각 데이터셋을 넘어서 보다 광범위한 평가 범위가 필요하다고 밝힌다.

ABSTRACT

Source-free domain adaptation (SFDA) is compelling because it allows adapting an off-the-shelf model to a new domain using only unlabelled data. In this work, we apply existing SFDA techniques to a challenging set of naturally-occurring distribution shifts in bioacoustics, which are very different from the ones commonly studied in computer vision. We find existing methods perform differently relative to each other than observed in vision benchmarks, and sometimes perform worse than no adaptation at all. We propose a new simple method which outperforms the existing methods on our new shifts while exhibiting strong performance on a range of vision datasets. Our findings suggest that existing SFDA methods are not as generalizable as previously thought and that considering diverse modalities can be a useful avenue for designing more robust models.

연구 동기 및 목표

• 기존 소스 프리 도메인 어댑테이션(SFDA) 방법이 표준 시각 벤치마크를 넘어서 일반화 가능한지 평가하는 것.
• 음성 데이터에서 복잡하고 실제 세계적인 분포 이동이 발생할 경우 SFDA 방법이 실패하거나 성능이 떨어지는 이유를 규명하는 것.
• 생물음향 및 시각을 포함한 다양한 도메인에서 강력한 성능을 유지하는 새로운 SFDA 방법을 제안하는 것.
• SFDA 평가를 시각 데이터셋을 넘어서 다양한 모달리티와 복잡한 분포 이동을 포함하도록 확장하여 방법의 견고성을 향상시키는 것.
• 정규화를 통해 특징 공간의 안정성을 활용하면 더 일관되고 일반화 가능한 어댑테이션이 가능하다는 것을 입증하는 것.

제안 방법

• 특징 공간에 라플라시안 정규화를 적용하여 어댑테이션을 안정화시키는, 수정된 노이지 슈도 프레임워크를 제안하는 NOTELA.
• 음성 데이터를 이미지 유사한 입력으로 다루기 위해 스펙트로그램을 사용하여 시각 기반 SFDA 방법의 직접 적용을 가능하게 한다.
• 유사한 예제들 사이에서 매끄럽고 일관된 특징을 유도하기 위해 학생 모델의 특징에 라플라시안 정규화를 적용한다.
• 선생 모델의 소프트 레이블이 학생을 지도하는 자기-디스틸레이션 과정을 사용하며, 라플라시안 정규화가 일반화를 향상시킨다.
• 타겟 도메인 데이터 유출을 방지하기 위해 ImageNet-C를 검증 도메인으로 사용하여 하이퍼파rameter 탐색을 수행한다.
• 다양한 분포 이동이 발생하는 새로운 생물음향 벤치마크에서 평가를 수행하며, 이는 다중 레이블, 저SNR, 다중 화자 기록을 포함한다.

Figure 1 : All but one SFDA method fail to consistently improve the source model in terms of $\operatorname{mAP}$ on ${\mathbb{D}}_{t}^{test}$ across distribution shifts. Dropout Student succeeds, but only through early stopping, which is infeasible in the SFDA setting. NOTELA achieves consistently

실험 결과

연구 질문

• RQ1 기존 SFDA 방법들은 극도로 분포가 이동한 새로운 어려운 음성 도메인에 적용되었을 때 어떻게 성능을 내는가?
• RQ2 어떤 SFDA 방법들은 비시각 도메인에서 사전 훈련된 모델보다 성능이 떨어지거나 악화되는 이유는 무엇인가?
• RQ3 기존 SFDA 방법에 단순한 수정, 예를 들어 라플라시안 정규화를 추가하는 것만으로도 다양한 도메인에서 더 일관되고 일반화 가능한 성능을 달성할 수 있는가?
• RQ4 현재 시각 분야에서의 SFDA 평가 프로토콜이 방법의 진정한 일반화 능력을 얼마나 잘 반영하고 있는가?
• RQ5 낮은 신뢰도와 고도의 분포 이동 조건에서 모델의 특징 공간은 어떻게 어댑테이션 안정성에 기여하는가?

주요 결과

• 기존 SFDA 방법들은 표준 시각 벤치마크와는 달리 생물음향 분포 이동에서 성능 순위가 크게 달라지며, 이는 열악한 도메인 간 일반화 능력을 시사한다.
• 일부 사례에서는 SFDA 방법이 사전 훈련된 모델보다 성능이 악화되며, 이는 적절한 평가 없이 실생활에 도입할 경우 위험을 감수할 수 있음을 시사한다.
• NOTELA는 극도로 분포가 이동한 생물음향 벤치마크에서 모든 베이스라인을 능가하며, 최신 기술 수준의 성능을 달성한다.
• NOTELA는 ImageNet-R, ImageNet-Sketch, VisDA-C를 포함한 여러 시각 벤치마크에서 강력한 성능을 유지하며, 도메인 간 일관성을 입증한다.
• 라플라시안 정규화는 특징 공간을 활용하여 어댑테이션을 안정화시키며, 낮은 모델 신뢰도에 대한 민감도를 감소시키고 캘리브레이션을 향상시킨다.
• 연구는 현재 SFDA 방법들이 시각 특성에 맞게 공진화되어 있어 다른 모달리티와 실제 세계의 복잡한 환경으로의 전이 능력이 제한된다는 것을 드러냈다.

Figure 2 : (1) and (2): When shifted to a new domain, the pre-trained model exhibits lower confidence than on the original source data, as seen from the lower per-class probability distributions assigned by the model. (3): Applying entropy minimization only worsens the problem, and leads to general