[論文レビュー] Robust Optimization over Multiple Domains

Qi Qian, Shenghuo Zhu+4 more|arXiv (Cornell University)|May 19, 2018

Adversarial Robustness in Machine Learning参考文献 4被引用数 6

ひとこと要約

本稿では、手書きおよび印刷済み数字など複数のドメインで良好に動作する1つの機械学習モデルを学習するためのロバスト最適化フレームワークを提案する。モデルとドメイン上の敵対的分布を同時に最適化することで、オракルに依存せずに非凸モデルに対して $Θ(1/T^{1/3})$ の収束速度を達成し、正則化された敵対的分布によりさらなるロバスト性と収束の向上を実現する。

ABSTRACT

In this work, we study the problem of learning a single model for multiple domains. Unlike the conventional machine learning scenario where each domain can have the corresponding model, multiple domains (i.e., applications/users) may share the same machine learning model due to maintenance loads in cloud computing services. For example, a digit-recognition model should be applicable to hand-written digits, house numbers, car plates, etc. Therefore, an ideal model for cloud computing has to perform well at each applicable domain. To address this new challenge from cloud computing, we develop a framework of robust optimization over multiple domains. In lieu of minimizing the empirical risk, we aim to learn a model optimized to the adversarial distribution over multiple domains. Hence, we propose to learn the model and the adversarial distribution simultaneously with the stochastic algorithm for efficiency. Theoretically, we analyze the convergence rate for convex and non-convex models. To our best knowledge, we first study the convergence rate of learning a robust non-convex model with a practical algorithm. Furthermore, we demonstrate that the robustness of the framework and the convergence rate can be further enhanced by appropriate regularizers over the adversarial distribution. The empirical study on real-world fine-grained visual categorization and digits recognition tasks verifies the effectiveness and efficiency of the proposed framework.

研究の動機と目的

• クラウドコンピューティングサービスにおいて、データの偏りやドメインシフトの影響を受ける実世界の多様なドメインにわたる1つのモデルを維持する課題に対処する。この際、ドメイン間でのモデルのロバスト性が極めて重要である。
• データの偏りやドメインシフトの影響により一部のドメインで性能が低下する可能性がある、経験的リスク最小化（ERM）の限界を克服する。
• 各イテレーションで全データのパスを必要とせず、効率的かつスケーラブルなアルゴリズムを設計し、最悪のドメイン分布に対してロバストなモデルを学習可能にする。
• 凸および非凸モデルの両方について理論的収束性を分析し、非凸設定において実用的アルゴリズムで初めての収束速度保証を提供する。
• 敵対的分布に対する正則化を導入することで、モデルのロバスト性と収束速度を向上させ、自明な解を防ぎ、一般化性能を向上させる。

提案手法

• 複数のドメイン上でモデルと敵対的分布を同時に学習するロバスト最適化フレームワークを提案する。個々のサンプルではなく、ドメインごとの分布を対象とする。
• 確率的勾配降下法（SGD）を用いてモデルと敵対的分布を効率的に最適化し、バッチ全体の計算を回避する。
• 敵対的分布に対する正則化（例：$L_2$ や最適輸送に基づくもの）を導入し、事前分布からの逸脱を制約することで、安定性と収束性を向上させる。
• コアとなる最適化問題は、ドメイン間で最も悪い期待損失を最小化することを目的とし、訓練中に性能が低いドメインを強調するように敵対的分布を動的に調整する。
• 理論的分析により、滑らかで凹型のモデルでは $Θ(1/T^{1/3})$、正則化付きの強い凹型モデルでは $Θ(\sqrt{\log T / T})$ の収束速度を確立する。
• 深層ニューラルネットワーク（例：AlexNet）と互換性があり、細粒度画像分類や数字認識などのタスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 複数の多様なドメイン（例：手書き vs. 印刷済み数字）にわたる1つの機械学習モデルを、ドメインごとの別々のモデルを用いずに、ロバストに動作可能にすることができるか？
• RQ2 実用的で確率的最適化アルゴリズムを用いる場合、ロバストな非凸モデルの収束を理論的に保証できるか？
• RQ3 ドメイン上の敵対的分布に対する正則化が、モデルのロバスト性と収束速度に与える影響は何か？
• RQ4 提案手法は、ドメイン間の最悪性能において、標準的な ERM や既存の分布ロバスト最適化手法を上回る性能を示せるか？
• RQ5 大規模で現実世界のデータセットに対しても、ロバスト性を維持したまま効率的にスケーリングできるか？

主な発見

• 提案手法は、部分問題の解法にオラクルを必要とせず、非凸モデルに対して $Θ(1/T^{1/3})$ の収束速度を達成するという、画期的な理論的貢献を果たす。
• 適切な正則化（例：$L_2$ や OT）を導入すると、収束速度は $Θ(\sqrt{\log T / T})$ に改善され、学習が著しく高速化される。
• ノイズを含む ImageNet ペットデータセットにおいて、Mixture Opt は最悪ケースの性能ギャップを 97.05% から 92.14%（4.91% の改善）に低減した一方、最高ケースの精度は維持された。
• 本手法はドメイン間でのパフォーマンスを効果的にバランスさせる。$σ = 30$ のガウスノイズを含む困難なタスクでは、適応的分布学習のおかげで最悪ケース性能が強く保たれる。
• Mixture Opt および Mixture OT は、Mixture Even（一様重み）とほぼ同等の速度で実行可能である一方、Mixture Oracle（各更新で全データパスを必要とする）は小規模データセットで約 3 倍遅い。
• MNIST および SVHN における実験結果から、Mixture Opt は ERM やベースライン手法に比べ、最悪ケースの訓練損失が低く、ドメイン間で一貫したパフォーマンスを示した。