[논문 리뷰] Automated Synthetic-to-Real Generalization

Wuyang Chen, Zhiding Yu외 2명|arXiv (Cornell University)|2020. 07. 14.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 대표성 유사도 가이던스와 학습-최적화(L2O)를 통해 ImageNet 사전 훈련된 표현을 유지하면서 합성 데이터에서 실존 데이터로의 제로샷 전이 성능을 향상시키는 자동 합성-실제 일반화(ASG) 방법을 제안한다. 이 방법은 실존 데이터가 없이도 최신 기술 성능을 달성하며, 기존 프레임워크에 즉시 통합할 수 있다.

ABSTRACT

Models trained on synthetic images often face degraded generalization to real data. As a convention, these models are often initialized with ImageNet pre-trained representation. Yet the role of ImageNet knowledge is seldom discussed despite common practices that leverage this knowledge to maintain the generalization ability. An example is the careful hand-tuning of early stopping and layer-wise learning rates, which is shown to improve synthetic-to-real generalization but is also laborious and heuristic. In this work, we explicitly encourage the synthetically trained model to maintain similar representations with the ImageNet pre-trained model, and propose a extit{learning-to-optimize (L2O)} strategy to automate the selection of layer-wise learning rates. We demonstrate that the proposed framework can significantly improve the synthetic-to-real generalization performance without seeing and training on real data, while also benefiting downstream tasks such as domain adaptation. Code is available at: https://github.com/NVlabs/ASG.

연구 동기 및 목표

• 합성-실제 일반화에서 ImageNet 사전 훈련된 지식의 역할을 조사하는 것. 이는 그 중요성에도 불구하고 종종 간과되는 바이다.
• 합성 데이터로 훈련된 모델의 실존 데이터에서의 낮은 일반화 성능 문제를 해결하기 위해 전이 학습을 종신 학습 문제로 재정의하는 것.
• 특히 계층별 학습률을 수동으로 수기 조정하는 데 어려움을 해결하기 위해 학습-최적화(L2O) 프레임워크를 통해 학습 스케줄링을 자동화하는 것.
• 합성 미세조정 중에 ImageNet 모델과의 표현 유사도를 유지하는 프록시 가이던스 최적화 전략을 개발하는 것.
• 기존 전이 학습 파ip라인에 추가적인 실존 데이터 훈련 없이도 즉시 통합 가능한 방법을 제공하는 것.

제안 방법

• 합성 훈련된 모델와 ImageNet 사전 훈련된 모델 간의 표현 유사도를 프록시 손실로 사용하여 훈련을 지도하는 방법.
• 합성-실제 전이를 종신 학습 문제로 재정의하여, 기존 작업(ImageNet)의 지식을 유지하면서 새로운 작업(합성 데이터)을 학습하는 방식.
• 성능 향상을 위해 최적의 계층별 학습률을 예측하는 강화학습 기반 학습-최적화(RL-L2O) 모듈을 학습.
• 훈련 중에 기울기와 손실 값을 관찰하는 RL-L2O 에이전트가 프록시 손실을 최소화하기 위해 각 계층별로 적응형 학습률을 출력.
• 모델 아키텍처 변경 없이도 추가적인 실존 데이터 미세조정 없이도 삽입형 모듈로 설계됨.
• 프록시 가이던스는 실존 이미지에 접근하지 못하는 조건에서 합성 데이터 훈련 중에만 적용됨.

실험 결과

연구 질문

• RQ1 ImageNet 사전 훈련된 표현을 유지하는 것이 합성-실제 일반화 성능에 미치는 영향는 어떠한가?
• RQ2 합성 훈련 중에 ImageNet 모델과의 표현 유사도가 일반화 성능을 효과적으로 프록시로 사용할 수 있는가?
• RQ3 학습된 최적화 정책이 계층별 학습률 선택을 자동화하여 합성-실제 전이 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법은 실존 데이터 적응 없이 다양한 다운스트림 작업과 데이터셋에 일반화되는가?
• RQ5 성능와 내구성 측면에서 RL-L2O 전략은 수기로 설정된 하이퍼파rameter 스케줄링에 비해 어떻게 비교되는가?

주요 결과

• 제안된 ASG 프레임워크는 VisDA-17 및 기타 벤치마크에서 합성-실제 일반화 성능을 크게 향상시켜 수기 방법(조기 정지, 고정 학습률 등)을 능가한다.
• ImageNet 사전 훈련된 모델과의 표현 유사도는 실존 데이터 없이도 효과적인 최적화를 가능하게 하며, 일반화 성능의 강력한 프록시로 작용한다.
• RL-L2O 모듈은 성능과 안정성 측면에서 수기 스케줄링을 능가하는 해석 가능하고 효과적인 계층별 학습률 정책을 학습한다.
• 훈련 중에 실존 데이터가 전혀 필요 없이 VisDA-17 및 도메인 적응 벤치마크에서 최신 기술 성능을 달성한다.
• 프록시 가이던스는 여러 다운스트림 작업에 걸쳐 이식 가능하며, 다양한 작업 간 일반화 능력을 입증한다.
• 프레임워크는 아키텍처 수정 없이도 즉시 통합 가능한 플러그인 모듈로 배포 가능하다.