[論文レビュー] PMC-GANs: Generating Multi-Scale High-Quality Pedestrian with Multimodal Cascaded GANs

Jie Wu, Peng Ying+3 more|arXiv (Cornell University)|Dec 30, 2019

Video Surveillance and Tracking Methods参考文献 47被引用数 5

ひとこと要約

本稿では、マルチスケールおよびアテンションリーダーブロックを備えた残差U-Net生成器を用いて、高品質で多様性に富み、マルチスケールの歩行者画像を生成する、マルチモーダル・カスケード GAN フレームワークである PMC-GANs を提案する。インスタンスレベルのマスクと粗いから細かい構造へのカスケード構造を採用することで、実用性と解像度が著しく向上し、最先端の FID スコアを達成するとともに、データ拡張に用いることで歩行者検出性能が向上する。

ABSTRACT

Recently, generative adversarial networks (GANs) have shown great advantages in synthesizing images, leading to a boost of explorations of using faked images to augment data. This paper proposes a multimodal cascaded generative adversarial networks (PMC-GANs) to generate realistic and diversified pedestrian images and augment pedestrian detection data. The generator of our model applies a residual U-net structure, with multi-scale residual blocks to encode features, and attention residual blocks to help decode and rebuild pedestrian images. The model constructs in a coarse-to-fine fashion and adopts cascade structure, which is beneficial to produce high-resolution pedestrians. PMC-GANs outperforms baselines, and when used for data augmentation, it improves pedestrian detection results.

研究の動機と目的

• 歩行者検出におけるデータ拡張のための、現実的で多様性に富み、高解像度の歩行者画像の不足を解消すること。
• 長方形マスクと1対1のマッピングによるものなど、既存の GAN ベース手法の限界（人工的な合成エッジや詳細品質の低さ）を克服すること。
• 粗いから細かい順に、64×64、128×128、256×256 のマルチスケール歩行者画像を生成することで、実用性と解像度を向上させること。
• インスタンスレベルのマスクをバウンディングボックスマスクの代わりに使用し、マスクされた潜在コードを注入することで、多様性と現実性を向上させること。
• データ拡張を通じて生成された画像の有効性を検証し、歩行者検出性能の向上を実証すること。

提案手法

• 生成器は、エンコーダーにマルチスケールリーダーブロック、デコーダーにアテンションリーダーブロックを備えた残差U-Netアーキテクチャを採用し、特徴のマルチスケール抽出と再構築時の重要な特徴の強調を実現する。
• インスタンスレベルの歩行者マスクを条件入力として使用し、長方形マスクに代えて実用性を向上させるとともに、より良い合成とオクルージョン処理を可能にする。
• エンコーダーの各中間ブロックにマスクされた潜在コードを注入することで、生成された歩行者の多様性を促進する。
• 3段階のカスケードアーキテクチャを採用し、各段階が解像度を段階的に向上（64×64、128×128、256×256）して画像を生成する。上位段階は下位段階の出力を入力として使用する。
• 判別器は生成器とミニマックスゲームを実行することで訓練され、本物の画像と偽物の画像を区別する。これにより、生成器は真のデータ分布を学習する方向に促される。
• データ拡張のため、合成された歩行者を、歩行者を歩道や道路に配置するためのセマンティックラベルをガイドとして、ピクセル単位の置換戦略で実際の背景画像に合成する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールおよびアテンション機構を備えたカスケード GAN アーキテクチャは、既存手法に比べてより現実的で多様性に富んだ歩行者画像を生成できるか？
• RQ2 長方形マスクではなくインスタンスレベルのマスクを使用することで、生成された歩行者の現実性と合成品質が向上するか？
• RQ3 マスクされた潜在コードの注入が、生成された歩行者サンプルの多様性をどの程度向上させるか？
• RQ4 PMC-GANs は、細部と一貫性のある照明を備えた高解像度の歩行者画像（最大256×256）を効果的に生成できるか？
• RQ5 PMC-GANs が生成した画像を用いたデータ拡張は、実世界のベンチマークにおいて歩行者検出モデルの性能を向上させることができるか？

主な発見

• PMC-GANs は、64×64 で 10.08、128×128 で 16.71、256×256 で 22.48 の最先端の FID スコアを達成し、PS-GAN や Pix2Pix などのベースラインを著しく上回った。
• CityPersons データセットにおける歩行者検出の平均誤検出率（MR）は、×1 時に 12.4、×1.3 時に 11.2、×1.5 時に 10.5 に低下し、GAN を用いたデータ拡張と組み合わせると、さらに 12.4、11.2、10.5 に改善された。
• インスタンスレベルのマスクの使用により、人工的な合成エッジが低減され、特にオクルージョン状況下でもより現実的な生成が可能になった。
• カスケード構造により段階的で高精度な精錬が可能となり、256×256 ステージは、同解像度で比較されたすべてのモデルの中で最高の FID スコアを達成した。
• マスクされた潜在コードの注入により、ポーズや外見が多様な歩行者が生成され、モード崩壊を回避した。
• 改善は見られたが、生成された歩行者と背景との間で照明の不一致が依然として課題であり、今後の研究で照明の一貫性の向上が求められる。