[論文レビュー] Image Synthesis with a Single (Robust) Classifier

Shibani Santurkar, Dimitris Tsipras+4 more|arXiv (Cornell University)|Jun 6, 2019

Adversarial Robustness in Machine Learning参考文献 50被引用数 47

ひとこと要約

この論文は、敵対的に頑健な分類器を、タスク特定のモデルなしに勾配上昇を介してクラススコアを最大化することで、複数の画像合成タスクの普遍的なツールとして利用できることを示しています。単一の頑健な分類器を用いて、生成、インペインティング、翻訳、超解像、対話的操作を実現します。

ABSTRACT

We show that the basic classification framework alone can be used to tackle some of the most challenging tasks in image synthesis. In contrast to other state-of-the-art approaches, the toolkit we develop is rather minimal: it uses a single, off-the-shelf classifier for all these tasks. The crux of our approach is that we train this classifier to be adversarially robust. It turns out that adversarial robustness is precisely what we need to directly manipulate salient features of the input. Overall, our findings demonstrate the utility of robustness in the broader machine learning context. Code and models for our experiments can be found at https://git.io/robust-apps.

研究の動機と目的

• 単一の頑健な分類器が、分類を超える多様な画像合成タスクに対処できることを示す。
• 頑健なモデル上でクラススコアを最大化することが、現実的で意味的に意味のある入力を生み出すことを示す。
• 誤用耐性の adversarial robustness の役割を、タスクを超えた意味的な画像操作の原始的手段として強調する。
• この最小ツールキットの限界と大規模データセットでのスケーラビリティを探る。

提案手法

• 各データセットで敵対的頑健性を持つResNet-50分類器を訓練する。
• クラス条件付き種から始めて、投影勾配降下法（PGD）によりターゲットクラススコアを勾配上昇させてサンプルを生成する。
• インペインティングでは、破損領域の外での変化をペナルティしつつ、真のクラススコアを最大化するよう画像を最適化する。
• 画像間翻訳では、ソース/ターゲットドメイン上で分類器を訓練し、ターゲットクラススコアを最大化して翻訳する。
• 超解像では、アップサンプルされた低解像度入力への変化を制限しつつ、高レベルのクラススコアを最大化する。
• 対話的操作では、表現層の活性化を最大化して、PGD によって特定の特徴を描画することを任意に行う。
• シード分布、頑健性設定、必要最小限の調整について議論する。

実験結果

リサーチクエスチョン

• RQ1 単一の頑健な分類器は、複数の画像合成タスクの一般的な原始要素になり得るか？
• RQ2 頑健なモデルの勾配ベース操作は、品質と多様性においてタスク固有の生成法とどのように比較されるか？
• RQ3 生成、インペインティング、翻訳、超解像において、クラススコア最大化を使用することの能力と限界は何か？
• RQ4 頑健性は、合成画像の意味的内容と制御性にどのように影響するか？

主な発見

Dataset	Train Data	BigGAN	WGAN-GP	Our approach
CIFAR-10	CIFAR-10	11.2 ± 0.2	9.22	8.4 ± 0.1	7.5 ± 0.1
ImageNet	ImageNet 4	331.9 ± 4.9	233.1 ± 1	11.6	259.0 ± 4

• 単一の頑健な分類器は、ターゲットPGDを用いて多くのクラスの現実的で多様な画像を生成できる。
• CIFAR-10 では、提案手法の Inception Score は 8.4±0.1 （BigGANは 11.2±0.2、WGAN-GPは 9.22）。
• ImageNet（全データ）では、本手法が Inception Score 259.0±4 を達成し、この設定で BigGAN の 331.9±4.9 および WGAN-GP の 233.1±1 を上回る。
• 本手法は知覚的に妥当なインペインティング結果と意味のある画像間翻訳を生み出す（例: 馬↔シマウマ、リンゴ↔オレンジ、夏↔冬）。
• ロバストモデル勾配による超解像は、シャープで意味的に意味のある再構成を生み出し、制限された ImageNet タスクで PSNR が素のアップサンプリングより高い（21.53 vs 21.30）。
• 対話的なスケッチ→画像や特徴描画ツールは、頑健なモデルのクラススコアや活性化を最適化することで構築できる。