[論文レビュー] Improved Part Segmentation Performance by Optimising Realism of Synthetic Images using Cycle Generative Adversarial Networks

R. Barth, J. Hemming+1 more|arXiv (Cornell University)|Mar 16, 2018

Smart Agriculture and AI参考文献 21被引用数 13

ひとこと要約

本稿では、合成農業画像の現実性を向上させるためにCycle-GANを用いる手法を提案し、畳み込みニューラルネットワークを用いたセマンティック部品セグメンテーションの性能を向上させることを目的としている。合成画像を色や質感において実際の画像分布に合わせて変換することで、性能が向上：微調整なしで31%のmIOUを達成し、微調整ありでは52%のmIOUを記録。これは合成データのみで学習した場合に比べて55%の改善を示している。

ABSTRACT

In this paper we report on improved part segmentation performance using convolutional neural networks to reduce the dependency on the large amount of manually annotated empirical images. This was achieved by optimising the visual realism of synthetic agricultural images.In Part I, a cycle consistent generative adversarial network was applied to synthetic and empirical images with the objective to generate more realistic synthetic images by translating them to the empirical domain. We first hypothesise and confirm that plant part image features such as color and texture become more similar to the empirical domain after translation of the synthetic images.Results confirm this with an improved mean color distribution correlation with the empirical data prior of 0.62 and post translation of 0.90. Furthermore, the mean image features of contrast, homogeneity, energy and entropy moved closer to the empirical mean, post translation. In Part II, 7 experiments were performed using convolutional neural networks with different combinations of synthetic, synthetic translated to empirical and empirical images. We hypothesised that the translated images can be used for (i) improved learning of empirical images, and (ii) that learning without any fine-tuning with empirical images is improved by bootstrapping with translated images over bootstrapping with synthetic images. Results confirm our second and third hypotheses. First a maximum intersection-over-union performance was achieved of 0.52 when bootstrapping with translated images and fine-tuning with empirical images; an 8% increase compared to only using synthetic images. Second, training without any empirical fine-tuning resulted in an average IOU of 0.31; a 55% performance increase over previous methods that only used synthetic images.

研究の動機と目的

• 農業ロボット分野におけるセマンティックセグメンテーションモデルの学習に、大規模なアノテート済み実画像データセットへの依存を低減すること。
• 合成画像と現実世界の農業画像との間のドメインギャップを解消し、合成データを用いたブートストラップ手法の性能を制限する要因に対処すること。
• 合成植物画像の現実性を高め、色・質感・視覚的外観において実画像分布により近づけること。
• 翻訳された合成画像が、部品セグメンテーションのためのCNN学習において、元の合成画像を上回る性能を示すかどうかを調査すること。
• 微調整なしに翻訳された画像で学習したモデルが、実画像データへの微調整なしに、実データに対して効果的に一般化できるかどうかを実証すること。

提案手法

• ペアのないデータを用いて、合成農業画像を実画像ドメインに変換するためのサイクル整合性のある生成的敵対ネットワーク（Cycle-GAN）を適用する。
• ペアのない合成画像と実画像を用いてCycle-GANを学習し、翻訳中に構造的同一性を保持するためのサイクル整合性を活用する。
• 生成器と識別器ネットワークを、敵対的損失とサイクル整合性損失を最適化することで、写真のようにリアルな翻訳を生成する。
• 元の合成画像、翻訳された合成画像、実画像の間で画像特徴（色、コントラスト、一様性、エネルギー、エントロピー）を抽出・比較し、現実性の向上を定量的に評価する。
• 3つのデータ組み合わせ（合成画像のみ、合成画像を実画像ドメインに翻訳したもの、実画像のみ）に対して、深層畳み込みニューラルネットワーク（CNN）を学習・評価する。
• すべての学習および微調整設定におけるセマンティックセグメンテーション性能を評価する主な指標として、交差率（IOU）を用いる。

実験結果

リサーチクエスチョン

• RQ1 Cycle-GANによる翻訳によって、色および質感特徴の観点から、合成画像と実画像の間の視覚的ドメインギャップが縮小されるか？
• RQ2 Cycle-GANで翻訳された合成画像を用いることで、元の合成画像で学習した場合に比べ、実画像（実際の画像）における部品セグメンテーション性能が向上するか？
• RQ3 翻訳された合成画像のみで学習したCNNが、実画像への微調整なしに、実データに対して効果的に一般化できるか？
• RQ4 合成画像を翻訳することで得られるブートストラップ戦略の性能向上は、合成画像のみを用いる場合に比べてどの程度か？
• RQ5 翻訳画像で学習したモデルの性能は、実画像で微調整したモデルと比較して、平均IOUおよびクラス別セグメンテーション正確度の観点でどの程度か？

主な発見

• Cycle-GANによる翻訳後、合成画像と実画像の間の平均色分布相関が0.62から0.90に向上し、視覚的現実性の向上が確認された。
• コントラスト、一様性、エネルギー、エントロピーなどの画像特徴が、翻訳画像で実画像の平均値に顕著に近づいたことから、質感の現実性が向上したと示された。
• 実画像の微調整なしに翻訳された合成画像で学習したCNNは、平均IOUが0.31を達成し、合成画像のみで学習した場合（IOU = 0.20）に比べて55%の向上を示した。
• 翻訳された画像で学習したモデルに、少量の実画像データで微調整を施すことで、最高の性能が得られた：平均IOUは0.52。これは合成画像のみで学習した場合（0.48）に比べ8%向上、実画像のみで学習した場合（0.41）に比べ27%向上した。
• カットクラスでは最も顕著な改善が見られた：翻訳画像で微調整した場合、合成画像のみで学習した場合に比べIOUが118%向上し、実画像のみで学習した場合に比べ600%向上した。
• 定性的な結果から、翻訳された合成画像が現実の画像に非常に近く、わずかなアーティファクトしかなく、元の合成データの正解セグメンテーションラベルが保持されていることが確認された。