[논문 리뷰] Robust Optimization over Multiple Domains

Qi Qian, Shenghuo Zhu외 4명|arXiv (Cornell University)|2018. 05. 19.

Adversarial Robustness in Machine Learning참고 문헌 4인용 수 6

한 줄 요약

이 논문은 손글씨 및 인쇄된 숫자와 같은 다양한 도메인에서 잘 작동하는 단일 기계학습 모델을 학습하기 위해 모델과 도메인 간의 적대적 분포를 동시에 최적화하는 강건한 최적화 프레임워크를 제안한다. 이 방법은 오рак루를 사용하지 않고도 비볼록 모델에 대해 $\mathcal{O}(1/T^{1/3})$의 수렴 속도를 달성하며, 정규화된 적대적 분포를 통해 강건성과 수렴성을 더욱 향상시킨다.

ABSTRACT

In this work, we study the problem of learning a single model for multiple domains. Unlike the conventional machine learning scenario where each domain can have the corresponding model, multiple domains (i.e., applications/users) may share the same machine learning model due to maintenance loads in cloud computing services. For example, a digit-recognition model should be applicable to hand-written digits, house numbers, car plates, etc. Therefore, an ideal model for cloud computing has to perform well at each applicable domain. To address this new challenge from cloud computing, we develop a framework of robust optimization over multiple domains. In lieu of minimizing the empirical risk, we aim to learn a model optimized to the adversarial distribution over multiple domains. Hence, we propose to learn the model and the adversarial distribution simultaneously with the stochastic algorithm for efficiency. Theoretically, we analyze the convergence rate for convex and non-convex models. To our best knowledge, we first study the convergence rate of learning a robust non-convex model with a practical algorithm. Furthermore, we demonstrate that the robustness of the framework and the convergence rate can be further enhanced by appropriate regularizers over the adversarial distribution. The empirical study on real-world fine-grained visual categorization and digits recognition tasks verifies the effectiveness and efficiency of the proposed framework.

연구 동기 및 목표

• 클라우드 컴퓨팅 서비스에서 다양한 실제 도메인 간에 단일 모델을 유지하는 데 도전하는 문제를 해결하며, 도메인 간 모델의 강건성이 핵심임을 강조한다.
• 데이터 불균형 또는 도메인 이동으로 인해 일부 도메인에서 성능이 떨어지는 경향이 있는 경험적 리스크 최소화(Empirical Risk Minimization, ERM)의 한계를 극복한다.
• 각 반복에서 전체 데이터를 순회하지 않고도 최악의 도메인 분포에 강건한 모델을 학습할 수 있는 효율적이고 확장 가능한 알고리즘을 개발한다.
• 볼록 및 비볼록 모델에 대해 이론적으로 수렴성을 분석하며, 비볼록 설정에서 실용적인 알고리즘에 대한 수렴 속도 보장을 처음으로 제시한다.
• 적대적 분포에 정규화를 도입하여 모델의 강건성과 수렴 속도를 향상시키며, 자명한 해를 방지하고 일반화 성능을 향상시킨다.

제안 방법

• 개별 예측이 아닌 여러 도메인에 걸쳐 모델과 적대적 분포를 동시에 학습하는 강건한 최적화 프레임워크를 제안한다.
• 전체 배치 계산을 피하기 위해 스티오스틱 경사 하강법(SGD)을 사용하여 모델 최적화 및 적대적 분포 갱신을 효율적으로 수행한다.
• 사전 분포에서의 분포의 이탈을 제약하기 위해 적대적 분포에 정규화를 도입한다(예: $L_2$ 또는 최적 운반 기반). 이는 안정성과 수렴성을 향상시킨다.
• 핵심 최적화 문제는 도메인 간 최악의 평균 손실을 최소화하는 것으로, 학습 중에 성능이 떨어지는 도메인을 강조하기 위해 적대적 분포를 동적으로 조정한다.
• 이론적 분석을 통해 부드럽고 오목한 모델에 대해 $\mathcal{O}(1/T^{1/3})$의 수렴 속도를 확보하고, 정규화된 강력한 오목한 모델에 대해서는 $\mathcal{O}(\sqrt{\log T / T})$의 속도를 확보한다.
• 이 프레임워크는 딥 네URAL 네트워크(예: AlexNet)와 호환되며, 세밀한 시각 분류 및 숫자 인식과 같은 작업에 적용 가능하다.

실험 결과

연구 질문

• RQ1 손글씨와 인쇄된 숫자와 같은 다양한 도메인 간에 별도의 모델 없이도 단일 기계학습 모델을 강건하게 유지할 수 있는가?
• RQ2 실용적인 스트로스틱 최적화 알고리즘 하에서 비볼록 강건 모델의 수렴성을 이론적으로 보장할 수 있는가?
• RQ3 도메인 간 적대적 분포에 정규화를 도입할 경우 모델의 강건성과 수렴 속도에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 최악의 도메인 성능에서 표준 ERM 및 기존의 분포 기반 강건 최적화 방법보다 우월한가?
• RQ5 대규모 실제 데이터셋에 대해 이 프레임워크는 강건성을 유지하면서 얼마나 효율적으로 확장될 수 있는가?

주요 결과

• 제안된 방법은 오라클을 사용하지 않고도 비볼록 모델에 대해 $\mathcal{O}(1/T^{1/3})$의 수렴 속도를 달성하며, 이는 새로운 이론적 기여이다.
• 적절한 정규화(예: $L_2$ 또는 OT)를 적용할 경우 수렴 속도가 $\mathcal{O}(\sqrt{\log T / T})$로 향상되어 훈련 속도가 크게 증가한다.
• 노이즈가 있는 도메인을 포함한 ImageNet pets 데이터셋에서 Mixture Opt는 최악의 성능 격차를 97.05%에서 92.14%로 줄여 4.91% 향상시켰으며, 최고 성능 정확도는 유지했다.
• 이 방법은 도메인 간 성능를 효과적으로 균형 잡는 데 성공한다: $\sigma = 30$인 가우시안 노이즈가 첨가된 어려운 작업에서, 적응적인 분포 학습 덕분에 최악의 성능도 여전히 우수하다.
• Mixture Opt와 Mixture OT는 Mixture Even(균일 가중치)만큼 빠르게 실행되며, Mixture Oracle(각 업데이트마다 전체 데이터를 순회)는 소규모 데이터셋에서 약 3배 느리다.
• MNIST 및 SVHN에서의 실험 결과, Mixture Opt는 ERM 및 기준 방법보다 최악의 훈련 손실이 낮고 도메인 간 일관성 있는 성능을 보였다.