[論文レビュー] Benchmarking the Robustness of Spatial-Temporal Models Against Corruptions

Chenyu Yi, Siyuan Yang+3 more|arXiv (Cornell University)|Oct 13, 2021

Human Pose and Action Recognition参考文献 50被引用数 15

ひとこと要約

本稿では、空間的および時間的ノイズに対して動画分類モデルの頑健性を評価するためのベンチマークであるMini Kinetics-CおよびMini SSV2-Cを紹介する。モデルの頑健性においてトランスフォーマー型モデルがCNNを上回ること、時間的頑健性はモデル容量と計算コストの増加に伴い向上すること、ノイズを含むデータでの学習は性能を低下させること——これらは動画タスクにおける一般的な画像ベースの頑健性戦略に疑問を呈する。

ABSTRACT

The state-of-the-art deep neural networks are vulnerable to common corruptions (e.g., input data degradations, distortions, and disturbances caused by weather changes, system error, and processing). While much progress has been made in analyzing and improving the robustness of models in image understanding, the robustness in video understanding is largely unexplored. In this paper, we establish a corruption robustness benchmark, Mini Kinetics-C and Mini SSV2-C, which considers temporal corruptions beyond spatial corruptions in images. We make the first attempt to conduct an exhaustive study on the corruption robustness of established CNN-based and Transformer-based spatial-temporal models. The study provides some guidance on robust model design and training: Transformer-based model performs better than CNN-based models on corruption robustness; the generalization ability of spatial-temporal models implies robustness against temporal corruptions; model corruption robustness (especially robustness in the temporal domain) enhances with computational cost and model capacity, which may contradict the current trend of improving the computational efficiency of models. Moreover, we find the robustness intervention for image-related tasks (e.g., training models with noise) may not work for spatial-temporal models.

研究の動機と目的

• 実世界の動画データに一般的に見られる時間的ノイズに対する動画モデルの頑健性を体系的に評価する手法の欠如に応えること。
• 実世界の動画劣化パターン（例：動きぼけ、パケットロス、天候要因など）を反映するように、空間的および時間的ノイズを含むベンチマークを確立すること。
• 最先端の3D CNNおよびビジョントランスフォーマー型動画モデルの、これらのノイズ下での頑健性を評価し、汎化性能と効率性のトレードオフに焦点を当てる。
• 画像分類で有効なデータ拡張戦略（例：ノイズを含む学習）が、動画理解タスクにも適用可能かどうかを調査すること。
• アーキテクチャ、学習データ、モデル容量の影響を分析することで、より頑健な動画モデルを設計するための実用的知見を提供すること。

提案手法

• KineticsおよびSSV2データセットのクリーンな検証セットに、12種類のノイズ（各5段階の深刻度）を適用することで、2つの動画ベンチマーク（Mini Kinetics-CおよびMini SSV2-C）を構築した。
• 実世界の動画劣化パターンを反映させるために、ノイズをフレーム単位の空間的ノイズと複数フレームにわたる時間的ノイズ（例：動きぼけ、パケットロス）に分類した。
• シャッターノイズ、雨、霧、動きぼけ、フレームレート低下、ABR/CRF、ビットエラー、パケットロスなどを適用し、システム的および環境的歪みを模擬した。
• クリーンデータおよびノイズ入りデータ上で最先端の3D CNNおよびビジョントランスフォーマー型モデルを評価し、mPC（平均クラス別正解率）およびrPC（頑健性別正解率）を指標とした。
• 単一のノイズタイプ（深刻度3）を用いてデータを学習させることで、汎化性能と頑健性のトレードオフを評価した。
• 再現性とモデル間の公平な比較を確保するため、3D ResNet-18をバックボーンとし、Kineticsの40クラスサブセットで学習した。

実験結果

リサーチクエスチョン

• RQ1 動画分類モデルは、時間的情報に依存する場合、特に時間的ノイズ下でどれほど頑健なのか？
• RQ2 動画モデルにおいて、空間的ノイズと時間的ノイズの頑健性の違いは何か？
• RQ3 動画分類において、モデルの汎化性能、計算効率、頑健性の間にはどのようなトレードオフがあるか？
• RQ4 画像分類で有効なノイズまたはノイズを含むデータ拡張戦略は、動画モデルの頑健性向上にも有効か？
• RQ5 アーキテクチャの選択（CNN対トランスフォーマー）が、多様なノイズタイプ下での頑健性にどのように影響するか？

主な発見

• トランスフォーマー型モデルは、特にパケットロスやフレームレート低下といった時間的ノイズにおいて、CNNベースのモデルを上回る頑健性を示した。
• 時間的ノイズに対する頑健性は、モデルの汎化能力に依存しており、長距離の時間的依存関係を捉えるモデルがより耐性があることを示唆している。
• モデルの頑健性は計算コストおよびモデル容量と正の相関関係にあり、高容量モデルがより高いmPCスコアを示した。これは、モデル効率化への傾向とは対照的である。
• ノイズを含むデータで学習させると、クリーンデータ上の性能が低下する：12のモデルのうち10つが、クリーンデータで学習したベースラインより低いクリーン正解率を示した。
• 単一のノイズタイプで学習したモデルは他のノイズタイプに一般化しにくく、12のモデルのうち9つが、未知のノイズ下でのmPCがクリーンデータで学習したモデルより低かった。
• 画像分類で有効な頑健化対策（例：ノイズ拡張）は動画タスクに転送できず、むしろ一般化性能と頑健性を損なう結果となった。