[論文レビュー] GIQA: Generated Image Quality Assessment

Shuyang Gu, Jianmin Bao+2 more|arXiv (Cornell University)|Mar 19, 2020

Advanced Image Processing Techniques参考文献 41被引用数 4

ひとこと要約

本稿では、GANから生成された個々の画像の品質を客観的に評価するための新規フレームワークである生成画像品質評価（GIQA）を提案する。本研究では、学習ベースで半教師あり回帰を用いるMBC-GIQA、パラメトリックなデータベース型のGMM-GIQA、非パラメトリックなデータベース型のKNN-GIQAの3つの手法を提案し、人的判断と強い一貫性を示すとともに、個々のリアルリズム／多様性の評価や、OHEMに基づくGAN学習の改善応用を可能にする。

ABSTRACT

Generative adversarial networks (GANs) have achieved impressive results today, but not all generated images are perfect. A number of quantitative criteria have recently emerged for generative model, but none of them are designed for a single generated image. In this paper, we propose a new research topic, Generated Image Quality Assessment (GIQA), which quantitatively evaluates the quality of each generated image. We introduce three GIQA algorithms from two perspectives: learning-based and data-based. We evaluate a number of images generated by various recent GAN models on different datasets and demonstrate that they are consistent with human assessments. Furthermore, GIQA is available to many applications, like separately evaluating the realism and diversity of generative models, and enabling online hard negative mining (OHEM) in the training of GANs to improve the results.

研究の動機と目的

• GANから生成された個々の画像の品質を評価する手法の不足に取り組むこと。これは、しばしばリアルリズムやアーティファクト品質に一貫性がないためである。
• FID やインセプションスコアといった従来の指標の限界を克服すること。これらは全体のモデル評価を対象としており、個々のサンプルには対応していない。
• 従来のNR-IQA手法とは異なり、特定に生成画像に特化した、参照なしで自動化された品質評価システムを構築すること。
• OHEMを用いたGAN学習の改善や、品質に基づく画像の選別といった、新たな応用を可能にすること。
• GIQAの性能を客観的に評価できるように、新規ラベル付きデータセット（LGIQA）を用いたベンチマークを提供すること。

提案手法

• 複数のバイナリ分類器を用いて画像品質スコアを回帰する半教師あり学習ベースのMBC-GIQAを提案。訓練イテレーション回数を偽ラベルとして活用する。
• 実画像分布をガウス・ミックスチャネル・モデル（GMM）でモデル化し、尤度に基づいて品質スコアを割り当てるパラメトリックなデータベース型手法GMM-GIQAを導入。
• 実画像空間内でのK個の近隣画像との距離を計算することで、画像品質を推定する非パラメトリックなデータベース型手法KNN-GIQAを開発。
• 半教師あり設定におけるラベルノイズ低減を目的とした、新たなマルチバイナリ分類器回帰戦略を採用。手動アノテーションなしでロバスト性を向上。
• GIQAで低品質と特定された生成画像に対して、損失を高く重みづけることで、GAN学習におけるOHEM（オンライン・ハードネガティブマイニング）を適用。
• GIQAを画像ピッカーとして活用し、生成バッチから高品質なサンプルを抽出し、後続の用途に活用する。

実験結果

リサーチクエスチョン

• RQ1 人的アノテーションなしで、参照なしの自動化された手法が、個々の生成画像の品質を正確に評価できるか？
• RQ2 学習ベースとデータベース型アプローチの両者において、GIQAの性能と効率性はどのように比較されるか？
• RQ3 GIQAを用いて生成モデルのリアリズムと多様性を分離して評価できるか？
• RQ4 GIQAを用いたOHEMにより、低品質なサンプルに焦点を当てることで、GAN学習がどの程度向上するか？
• RQ5 パッチサイズ、コンポーネント数、KNNのK値といったハイパーパrameterに、提案手法の性能はどの程度感受性を示すか？

主な発見

• MBC-GIQAは、パッチサイズ192、8個のバイナリ分類器を用いたLGIQA-FFHQで73.1%の精度を達成。より多くの分類器を用いると劣化が顕著に現れるが、ピークに達する。
• GMM-GIQAは70個のガウス成分で最良の性能（76.4%の精度）を示し、100成分を超えると劣化が顕著に現れる。
• KNN-GIQAはK=3500の近隣画像を用いることで84.3%の精度を達成。K=500からK=7000にかけては性能が安定する。
• GIQAに基づく重み付けを用いたOHEM適用により、FIDスコアと品質スコアが向上。画像ピッカー戦略と組み合わせることでさらなる向上が得られる。
• 提案手法は人的評価と強く一貫しており、スコア分布の一致度においてNIMAを上回る性能を示す。
• 本フレームワークにより、リアリズムと多様性の評価を効果的に分離可能であり、FID やインセプションスコアよりも洗練された評価が可能になる。