[論文レビュー] Colorful Image Colorization

Richard Zhang, Phillip Isola+1 more|arXiv (Cornell University)|Mar 28, 2016

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 28

ひとこと要約

本論文では、100万枚以上のカラー画像で訓練された畳み込みニューラルネットワーク（CNN）を用いて、完全自動的で鮮やかで現実的な画像の色付けを実現する深層学習手法を提案する。色の予測をクラス再バランスを施した分類タスクとしてモデル化し、まれな色に注目するためのアンニュールド・ミーン復元戦略を用いることで、人間が識別できないほど実用的で自然な結果を生成する。色付けのチューリングテストにおいて32%の成功を達成し、先行研究を大きく上回り、自己教師あり表現学習の事前学習タスクとしても優れた性能を示している。

ABSTRACT

Given a grayscale photograph as input, this paper attacks the problem of hallucinating a plausible color version of the photograph. This problem is clearly underconstrained, so previous approaches have either relied on significant user interaction or resulted in desaturated colorizations. We propose a fully automatic approach that produces vibrant and realistic colorizations. We embrace the underlying uncertainty of the problem by posing it as a classification task and use class-rebalancing at training time to increase the diversity of colors in the result. The system is implemented as a feed-forward pass in a CNN at test time and is trained on over a million color images. We evaluate our algorithm using a "colorization Turing test," asking human participants to choose between a generated and ground truth color image. Our method successfully fools humans on 32% of the trials, significantly higher than previous methods. Moreover, we show that colorization can be a powerful pretext task for self-supervised feature learning, acting as a cross-channel encoder. This approach results in state-of-the-art performance on several feature learning benchmarks.

研究の動機と目的

• ユーザーの干渉なしに、完全に自動的かつエンドツーエンドの深層学習システムとして、グレースケール画像の色付けを鮮やかで現実的な結果をもたらすことを目的とする。
• 色付けに内在するマルチモーダルな不確実性に対処するため、1つのピクセルに対して複数の妥当な色が存在しうることを考慮し、単一の決定的予測ではなく、ピクセル単位の色分布をモデル化することを目的とする。
• トレーニング時に損失関数の再重み付けを施し、まれで変動の大きい色に注目することで、色の出力の一般化性能と多様性を向上させることを目的とする。
• 色付けの性能を、人間中心の「色付けチューリングテスト」を用いて評価し、知覚的な現実性を測定することを目的とする。
• 画像の色付けを自己教師あり表現学習の強力な事前学習タスクとして活用し、下流のビジョンタスクにおける性能向上を検証することを目的とする。

提案手法

• モデルは、グレースケール画像から得られる$L$チャンネル（明度）を入力とし、CIE Lab色空間の$a$および$b$チャンネルを予測するように訓練される。色付けをピクセル単位の分類タスクとして定式化する。
• トレーニング時にクラス再バランスを施したクロスエントロピー損失を適用し、一般的な色に偏らないようにし、予測の多様性を向上させる。
• 最終的な色付け結果は、予測された色分布のアンニュールド・ミーンを取ることで生成され、信頼性と多様性のバランスを取る。
• ネットワークはCNNとして前向き伝搬の形で実装されており、テスト時に高速な推論が可能である。
• VGG や Fast R-CNN などの市販のモデルを用いて、画像分類、検出、セグメンテーションなどの下流タスクでモデルをファインチューニングおよび評価する。
• 本手法は、実際のレトロなモノクロ写真に対しても適用され、分布シフトに対して高い頑健性を示している。

実験結果

リサーチクエスチョン

• RQ1 大規模なカラー画像データセットで訓練された深層CNNは、ユーザー入力なしに鮮やかで現実的な色付けを生成できるか？
• RQ2 1つのグレースケールピクセルが複数の妥当な色に対応しうるという、色付けの本質的なマルチモーダル性を、深層学習フレームワーク内で効果的にモデル化できるか？
• RQ3 色付けタスクは、自己教師あり表現学習の強力な事前学習タスクとして機能できるか？ そして、下流のビジョンベンチマークで競争力のある性能を示せるか？
• RQ4 人間の評価環境において、色付けモデルが生成する結果が、実際のカラー画像と区別がつかない程度にまで到達できるか？
• RQ5 トレーニングデータの分布とは異なる実世界のレトロなモノクロ写真に対し、モデルはどれほど一般化できるか？

主な発見

• 提案手法は、色付けチューリングテストで32%の成功率を達成し、先行研究を大きく上回り、生成された色付け結果が人間の観察者にとってしばしば本物と見分けがつかないことを示している。
• クラス再バランスと分布予測により、従来の回帰ベースの手法よりも鮮やかで多様性に富んだ色付け結果を生成している。
• PASCAL VOC 2007分類ベンチマークでは、自己教師あり手法の中での最先端の正確度を達成し、多数の先行手法を上回っている。
• PASCAL VOC 2012におけるセマンティックセグメンテーションでは、カラー入力で35.6%のmIoU、グレースケール入力で35.0%のmIoUを達成し、他の自己教師あり手法を上回っている。
• モデルの表現学習能力は非常に高い。ImageNetの教師あり学習で事前学習されたモデルと比較しても、conv2層での性能は同等またはそれを上回っている。
• 実際のレトロなモノクロ写真に対しても、トレーニングデータの分布とは異なる状況でも、妥当で文脈的に整合性のある色付け結果を生成し、良好な一般化性能を示している。