[論文レビュー] Deep Video Inpainting Detection

Peng Zhou, Ning Yu+4 more|arXiv (Cornell University)|Jan 26, 2021

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 9

ひとこと要約

本稿では、RGBとエラーレベル分析（ELA）フレームからのマルチモーダル特徴を活用し、4方向局所注意モジュールとConvLSTMベースの時空間モデリングを組み合わせることで、動画内の画像補填領域を検出するエンドツーエンドの深層学習フレームワーク、VIDNetを提案する。VIDNetは、ドメイン内およびドメイン外の動画補填検出において最先端の性能を達成し、圧縮やノイズ摂動に対して強い汎化性と耐性を示す。

ABSTRACT

This paper studies video inpainting detection, which localizes an inpainted region in a video both spatially and temporally. In particular, we introduce VIDNet, Video Inpainting Detection Network, which contains a two-stream encoder-decoder architecture with attention module. To reveal artifacts encoded in compression, VIDNet additionally takes in Error Level Analysis frames to augment RGB frames, producing multimodal features at different levels with an encoder. Exploring spatial and temporal relationships, these features are further decoded by a Convolutional LSTM to predict masks of inpainted regions. In addition, when detecting whether a pixel is inpainted or not, we present a quad-directional local attention module that borrows information from its surrounding pixels from four directions. Extensive experiments are conducted to validate our approach. We demonstrate, among other things, that VIDNet not only outperforms by clear margins alternative inpainting detection methods but also generalizes well on novel videos that are unseen during training.

研究の動機と目的

• 悪意ある動画補填を検出するという重要なニーズに対処すること。これは、誤情報の拡散や証拠改ざんを可能にする。
• 従来の研究が主に画像レベルの改ざん検出に注力していたのに対し、動画補填検出のための最初の学習ベースのフレームワークを開発すること。
• RGBとELA特徴からのマルチモーダルな手がかりを活用することで、圧縮アーティファクトを露呈させ、検出の耐性を向上させること。
• 4方向局所注意モジュールとConvLSTMデコーダーを用いて、空間的および時間的依存関係を明示的にモデリングし、補填領域の正確な時空間的局所化を実現すること。

提案手法

• VIDNetは、RGBとELAフレームの両方を処理する2ストリームエンコーダーデコーダー構造を採用し、複数スケールでのマルチモーダル特徴を抽出する。
• エンコーダーでは、RGBフレームからの特徴抽出に事前学習済みのVGGネットワークを用い、ELAフレームは圧縮の不一致やアーティファクトを明らかにするために使用する。
• 最終的なRGB特徴マップに、4方向からの隣接ピクセルに注目する4方向局所注意（QDLA）モジュールを適用し、空間的文脈モデリングを強化する。
• 異なるスケールからのマルチモーダル特徴を統合し、4層の畳み込みLSTMデコーダーに供給することで、動画フレーム間の時間的ダイナミクスをモデリングする。
• 粗い層からのスキップ接続を用いることで、空間的詳細を保持し、マスク予測の正確性を向上させる。
• ネットワーク全体は、ピクセル単位の補填マスク予測に二値交差エントロピー損失を用いてバックプロパゲーションによりエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 RGBとELA特徴を組み合わせることで、深層学習フレームワークが動画内の補填領域を効果的に検出できるか？
• RQ2 標準的な注意機構やグローバルプーリングと比較して、4方向局所注意による空間的文脈モデリングは検出性能をどのように向上させるか？
• RQ3 トレーニング時に見られなかった補填手法やデータセットに対して、動画補填検出モデルがどれほど汎化できるか？
• RQ4 ガウスノイズやJPEG圧縮といった一般的な動画歪みに対して、提案手法はどれほど耐性を示すか？
• RQ5 ConvLSTMによる時間的モデリングを組み込むことで、より時間的に一貫性があり正確な補填マスク予測が得られるか？

主な発見

• Free-form Video Inpainting（FVI）データセットにおいて、VIDNetは平均IoU 0.257、F1スコア0.367を達成し、次に優れた手法（GSR-Net）と比較してF1スコアで70%も優れている。
• DAVIS 2016データセットでは、すべての競合手法を明確な差で上回り、優れた検出精度と耐性を示している。
• 訓練データとは異なる補填手法で生成された動画に対しても、モデルは良好な汎化性能を示し、強力な性能を維持している。
• トレーニング時にノイズとJPEGオーグメンテーションを追加することで、摂動に対する耐性が向上し、SNR 20 dBおよびJPEG品質70の条件下でも高い性能を維持している。
• アブレーションスタディにより、RGBとELA特徴の組み合わせに加え、QDLAモジュールとConvLSTMの統合が最高の性能をもたらすことが確認され、各コンponentsの貢献が裏付けられた。
• 定性的な結果では、GSR-Netのようなフレーム単位の手法に比べ、VIDNetはより時間的に一貫性があり、空間的に正確なマスクを生成している。GSR-Netはフレッケリングや不一致に苦しんでいる。