[論文レビュー] Label-Noise Robust Multi-Domain Image-to-Image Translation

Takuhiro Kaneko, Tatsuya Harada|arXiv (Cornell University)|May 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 5

ひとこと要約

本稿では、ノイズのある学習ラベルからクリーンラベルの条件付き生成器を学習する、ラベルノイズに強いマルチドメイン画像対画像変換モデルRMITを提案する。仮想サイクル整合性損失とノイズに強い分類損失を導入することで、50%のラベル反転といった高いノイズ下でも、クリーンラベルモデルに近い性能を達成し、標準的なStarGANよりもノイズ付き監視下での分類精度と画像品質の両面で優れる。

ABSTRACT

Multi-domain image-to-image translation is a problem where the goal is to learn mappings among multiple domains. This problem is challenging in terms of scalability because it requires the learning of numerous mappings, the number of which increases proportional to the number of domains. However, generative adversarial networks (GANs) have emerged recently as a powerful framework for this problem. In particular, label-conditional extensions (e.g., StarGAN) have become a promising solution owing to their ability to address this problem using only a single unified model. Nonetheless, a limitation is that they rely on the availability of large-scale clean-labeled data, which are often laborious or impractical to collect in a real-world scenario. To overcome this limitation, we propose a novel model called the label-noise robust image-to-image translation model (RMIT) that can learn a clean label conditional generator even when noisy labeled data are only available. In particular, we propose a novel loss called the virtual cycle consistency loss that is able to regularize cyclic reconstruction independently of noisy labeled data, as well as we introduce advanced techniques to boost the performance in practice. Our experimental results demonstrate that RMIT is useful for obtaining label-noise robustness in various settings including synthetic and real-world noise.

研究の動機と目的

• 実世界の応用で一般的なノイズラベルのみが利用可能な状況において、マルチドメイン画像対画像変換モデルを訓練する課題に対処すること。
• StarGANのような既存のGANベースのモデルがノイズラベルで訓練された場合に生じる翻訳品質の低下と誤ったドメインアライメントを是正すること。
• 訓練中にクリーンラベルを必要とせず、クリーンラベルの条件付き翻訳を学習する統合フレームワークを構築することで、スケーラビリティと実用性を向上させること。
• 特にサイクル整合性と分類に注目し、ラベルノイズに対して強い新しい損失関数を導入することで、ノイズ付き監視下での訓練を安定化させること。
• 合成的および実世界のラベルノイズ設定の両方で、提案手法の有効性を実証し、ベースラインモデルよりも一貫した性能向上を示すこと。

提案手法

• 真のラベルに依存せず、入力画像と変換画像間のサイクル的再構成を強制する仮想サイクル整合性損失を提案し、ノイズに強い訓練を可能にする。
• 生成器の訓練中に誤ったラベルの影響を軽減するラベルノイズに強い分類損失を導入し、ドメイン固有の生成の忠実度を向上させる。
• 入力画像とターゲットドメインラベルを受け取り、ノイズ付き監視下でもクリーンラベルの条件に従った変換画像を生成する統合ジェネレータネットワークを設計する。
• 二重スレッドのディスクリミネータ／分類ヘッドを活用：一方は本物／偽物の区別（敵対的損失）に、もう一方はドメイン分類（分類損失）に使用し、両者ともラベルノイズに対応可能に調整する。
• アテンションマスクとカラーマスクを活用し、ジェネレータが関連する顔領域に注目できるように誘導することで、分離性とノイズへの耐性を向上させる。
• ハイパーパramータを安定性と性能に最適化して調整し、敵対的損失、仮想サイクル整合性損失、ノイズに強い分類損失の組み合わせにより、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 訓練時にのみノイズラベルが利用可能な状況下でも、マルチドメイン画像対画像変換モデルはクリーンラベルの条件付き生成を学習できるか？
• RQ2 提案された仮想サイクル整合性損失は、標準的なサイクル整合性損失や損失なしの状況と比較して、ラベルノイズ下での性能をどのように向上させるか？
• RQ3 ラベルノイズに強い分類損失は、誤ってラベル付けされたデータがドメイン固有の翻訳品質に与える悪影響をどの程度軽減するか？
• RQ4 合成的および実世界のラベルノイズ下において、RMITは標準的なStarGANと比較して分類精度とFIDの両面で優れているか？
• RQ5 ノイズ付きデータで訓練された場合、RMITはコンテンツ保持性と意味的整合性をドメイン間で維持できるか？また、非変換行動を回避する仕組みは何か？

主な発見

• Ferデータセットにおいて50%の対称的ラベルノイズ下でRMITは分類精度（CA）70.0%を達成し、同条件で65.5%を記録したStarGANを大きく上回った。
• 非対称的ノイズ（μ=0.3）を伴うCelebAでは、RMITのCAは78.9%であったのに対し、StarGANは60.2%にとどまり、ラベルノイズに対して優れた耐性を示した。
• 50%の対称的ラベルノイズ下でも、RMITはクリーンデータで訓練されたStarGANが出力する画像と視覚的に近い画像を生成する一方、StarGANは意味のある翻訳を学習できなかった。
• 仮想サイクル整合性損失はクリーンラベルを必要とせず、サイクル的再構成を効果的に正則化し、安定した訓練と画像品質の向上を実現した。
• RMITはStarGANよりも大きなアテンションマスクを学習しており、これはより顕著なドメイン固有の変更を好む傾向を示しており、分類精度の向上と相関している。
• 高レベルのラベルノイズ下では、StarGANは非変換モデル（出力が入力に類似）に収束する傾向があるが、RMITはノイズに強い訓練目的のおかげでこの失敗モードを回避した。