[論文レビュー] On Evaluating Weakly Supervised Action Segmentation Methods

Yaser Souri, Alexander Richard+2 more|arXiv (Cornell University)|May 19, 2020

Human Pose and Action Recognition参考文献 16被引用数 4

ひとこと要約

本稿は、トランスクリプトを用いた弱教師付きアクションセグメンテーションにおける性能のばらつきと特徴量感受性を調査する。複数回の学習ランで標準偏差が顕著であることが示された（1–2.51%）、驚くべきことに、Breakfastデータセットでは上位レベルのI3D特徴量が下位レベルのIDT特徴量を下回る性能を示し、弱教師付き学習における特徴量品質に関する仮定に疑問を呈する。

ABSTRACT

Action segmentation is the task of temporally segmenting every frame of an untrimmed video. Weakly supervised approaches to action segmentation, especially from transcripts have been of considerable interest to the computer vision community. In this work, we focus on two aspects of the use and evaluation of weakly supervised action segmentation approaches that are often overlooked: the performance variance over multiple training runs and the impact of selecting feature extractors for this task. To tackle the first problem, we train each method on the Breakfast dataset 5 times and provide average and standard deviation of the results. Our experiments show that the standard deviation over these repetitions is between 1 and 2.5% and significantly affects the comparison between different approaches. Furthermore, our investigation on feature extraction shows that, for the studied weakly-supervised action segmentation methods, higher-level I3D features perform worse than classical IDT features.

研究の動機と目的

• 異なる乱数シードを用いた複数回の学習ランにおける弱教師付きアクションセグメンテーション手法の性能ばらつきを調査すること。
• 具体的には、IDTとI3Dの特徴量抽出器の違いが、弱教師付きアクションセグメンテーションモデルの性能に与える影響を評価すること。
• IDT特徴量を前提として設計された最先端の手法が、適応なしにI3D特徴量に一般化して効果的に機能するかを評価すること。
• 単一のランではなく、複数回の実行における平均値と標準偏差を報告することで、より信頼性の高い評価プロトコルを提供すること。
• 高レベルの表現と大規模な動画データでの事前学習を経たI3D特徴量が、そのにもかかわらず性能が低い理由を特定すること。

提案手法

• Breakfastデータセット上で、公開済みの4つの弱教師付きアクションセグメンテーションモデル（NNV, ISBA, CDFL, MuCon）を、異なる乱数シードを用いてそれぞれ5回学習し、性能ばらつきを評価した。
• 5回のランにおける平均フレームごとの平均（MoF）の平均値と標準偏差を報告し、モデルの安定性とばらつきを定量化した。
• Breakfastデータセットの動画から、1フレームあたり2048次元のI3D（RGBおよびFlow）特徴量を抽出し、これらの特徴量を用いてモデル性能を評価した。
• 元のモデルで使用された入力次元に合わせるため、I3D特徴量の次元を2048から64にまで次元削減するPCAを適用し、PCA-I3D特徴量を生成した。
• NNVモデルのGRU入力の時間的受容野（特徴量ウィンドウサイズ）を変更して、PCA-I3D特徴量を用いる際の局所的時間的文脈への感受性をテストした。
• Split 1のBreakfastデータセット上で、IDT、I3D、PCA-I3D特徴量のすべてのモデルについて性能を比較し、MoFを評価指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 異なる乱数シードを用いた複数回の学習ランにおいて、弱教師付きアクションセグメンテーションモデルの性能はどの程度ばらつくのか？
• RQ2 Breakfastデータセットにおける弱教師付きアクションセグメンテーションにおいて、上位レベルのI3D特徴量は古典的なIDT特徴量を上回る性能を示すのか？
• RQ3 IDT特徴量で学習された既存の弱教師付きアクションセグメンテーションモデルが、I3D特徴量に直接適用されても性能が低下しないのか？
• RQ4 PCAによるI3D特徴量の次元削減は、Breakfastデータセットにおけるモデル性能を向上させるのか？
• RQ5 PCA-I3D特徴量を用いる際、時間的文脈ウィンドウサイズはモデル性能にどのように影響するのか？

主な発見

• 5回の学習ランにおける性能の標準偏差は1.0%～2.51%の間であり、高いばらつきを示しており、単一のランではなく平均値と標準偏差の報告が求められるべきであることを示している。
• I3D特徴量を用いることで性能が著しく低下した—NNVのMoFはIDT時（40.6%）からI3D時（11.4%）に低下し、この特徴量タイプへの一般化が不十分であることが示された。
• PCAで次元削減されたI3D特徴量（PCA-I3D）は性能を改善したが、依然としてIDT特徴量に劣り、CDFLではPCA-I3Dで38.0%のMoF、IDTで48.9%のMoFを記録した。
• MuConはIDT特徴量では性能が低かった（MoF 40.2%）が、I3D（48.3%）およびPCA-I3D（47.7%）では顕著に向上したため、モデルごとに特徴量タイプに対する感受性が異なることが示された。
• NNVでは、PCA-I3D特徴量を用いる際、小さな時間ウィンドウサイズ（例：1フレーム）が性能を向上させた。これは、I3D特徴量を用いる場合、局所的時間的文脈がより重要である可能性を示唆している。
• 結果から、現在の弱教師付きモデルは特徴量分布のシフトに対して頑健ではなく、I3D特徴量はアーキテクチャ的・ハイパーパramータ的適応なしではBreakfastデータセットには適していない可能性がある。