[論文レビュー] Unsupervised Activity Segmentation by Joint Representation Learning and Online Clustering.

Sateesh Kumar, Sanjay Haresh+4 more|arXiv (Cornell University)|May 27, 2021

Anomaly Detection Techniques and Applications参考文献 90被引用数 5

ひとこと要約

本稿では、時間的最適輸送と時間的整合性損失を用いて順序を保ち、埋め込み品質を向上させることで、教師なしアクティビティセグメンテーションのための共同表現学習およびオンラインクラスタリングフレームワークを提案する。ビデオフレームをミニバッチでオンラインで処理することで、最小限のメモリ使用量で最先端の性能を達成し、複数のベンチマークで先行手法を上回る性能を示した。

ABSTRACT

We present a novel approach for unsupervised activity segmentation, which uses video frame clustering as a pretext task and simultaneously performs representation learning and online clustering. This is in contrast with prior works where representation learning and clustering are often performed sequentially. We leverage temporal information in videos by employing temporal optimal transport and temporal coherence loss. In particular, we incorporate a temporal regularization term into the standard optimal transport module, which preserves the temporal order of the activity, yielding the temporal optimal transport module for computing pseudo-label cluster assignments. Next, the temporal coherence loss encourages neighboring video frames to be mapped to nearby points while distant video frames are mapped to farther away points in the embedding space. The combination of these two components results in effective representations for unsupervised activity segmentation. Furthermore, previous methods require storing learned features for the entire dataset before clustering them in an offline manner, whereas our approach processes one mini-batch at a time in an online manner. Extensive evaluations on three public datasets, i.e. 50-Salads, YouTube Instructions, and Breakfast, and our dataset, i.e., Desktop Assembly, show that our approach performs on par or better than previous methods for unsupervised activity segmentation, despite having significantly less memory constraints.

研究の動機と目的

• 順序付き表現学習および教師なしアクティビティセグメンテーションにおけるクラスタリングの限界を解消すること。
• 完全な特徴埋め込みを保存せずに、ビデオフレームのオンライン処理を可能にし、メモリ使用量を削減すること。
• 最適輸送と整合性損失を用いて時間的構造を組み込むことで、表現品質を向上させること。
• 教師信号やオフラインクラスタリングに依存せずに、競争力のあるセグメンテーション性能を達成すること。

提案手法

• 本手法は、事前学習タスクとしてのビデオフレームクラスタリングを用い、表現学習とオンラインクラスタリングを共同で行う。
• 時間的順序の保存を強制する時間的最適輸送モジュールを導入する。
• 隣接するフレームが埋め込み空間で近くなるように保証すると同時に、離れたフレーム同士は遠ざけるために時間的整合性損失を適用する。
• フレームを1つのミニバッチずつ処理することで、低メモリオーバーヘッドでオンライン学習を実現する。
• 表現学習とクラスタリングの共同最適化を、損失関数の組み合わせを用いてエンドツーエンドで行う。

実験結果

リサーチクエスチョン

• RQ1 共同表現学習とオンラインクラスタリングを組み合わせることで、教師なしアクティビティセグメンテーションの性能が向上するか？
• RQ2 最適輸送を用いて時間的構造を組み込むことで、クラスタリング品質はどのように向上するか？
• RQ3 オンライン処理により、性能を損なわず、どの程度メモリ使用量を削減できるか？
• RQ4 時間的整合性損失は、学習された埋め込みの品質にどのように影響するか？

主な発見

• 提案手法は、50-Salads、YouTube Instructions、Breakfastの各データセットで、先行する最先端手法と同等またはそれ以上の性能を達成した。
• 新たに収集したDesktop Assemblyデータセットでも優れた性能を示し、ドメイン間の一般化能力を示した。
• オフライン特徴保存を回避することで、メモリ使用量を顕著に削減し、オンライン処理を可能にした。
• 時間的最適輸送と整合性損失の統合により、より時間的整合性があり、識別性の高い表現が得られた。