[論文レビュー] CLAD: A Complex and Long Activities Dataset with Rich Crowdsourced Annotations

Jawad Tayyub, Majd Hawasly+1 more|arXiv (Cornell University)|Jan 1, 2017

Human Pose and Action Recognition参考文献 13被引用数 4

ひとこと要約

本論文は、モバイルロボットの視点からKinect 2センサーで記録された、複雑で長時間にわたる人間の行動を含むRGB-D動画データセットCLADを紹介する。本データセットは、アマゾンMechanical Turkを用いた豊富なクラウドソーシングによるアノテーションを備え、構造的なタスク設計と品質管理を経て、時間的に広がった現実世界のシナリオにおいて正確で自然言語による行動ラベル付けを実現している。これにより、ロボティクスおよびコンピュータビジョン分野における長期的行動認識のベンチマークが可能になる。

ABSTRACT

An activity dataset is presented here which exhibits real-life and diverse scenarios of complex, temporally-extended human activities and actions. The dataset consists of a set of videos of actors performing everyday activities in a natural and unscripted manner. The dataset was recorded using a static Kinect 2 sensor which is commonly used on many robotic platforms. The dataset comprises of RGB-D images, point cloud data, automatically generated skeleton tracks in addition to crowdsourced annotations. We believe that this dataset is particularly suitable as a testbed for activity recognition research but it can also be applicable for other common tasks in robotics/computer vision research such as object detection and human skeleton tracking.

研究の動機と目的

• 現実世界のロボットセンサーが観測する環境において、長期的かつ複雑な人間の行動を対象とする標準化されたデータセットの不足を解消すること。
• 静的で設置されたKinect 2センサーを用いて記録されたベンチマークデータセットを提供し、日常的環境におけるモバイルロボットの認識を模擬すること。
• RGB-D動画とクラウドソーシングによるアノテーションを用いて、長期的行動認識、人間のスケルトン追跡、オブジェクト検出に関する研究を可能にすること。
• 長時間の動画シーケンスに対して高品質で自然言語によるアノテーションを収集できる、スケーラブルでコスト効率の良いクラウドソーシングパイプラインの開発。
• 時間的に広がった、変動する、重複する行動をアノテートする課題を、構造的なアノテーションインターフェースと品質管理メカニズムによって克服すること。

提案手法

• 制御されたが自然な屋内環境で、Kinect 2センサーを用いて日常的行動（例：食事、勉強、調理）の100以上の動画シーケンスを記録した。
• 各動画に対して、RGB-D画像、点群データ、および自動生成されたスケルトントラックをKinect 2センサーから収集した。
• 動画再生プレーヤー、アノテーションテーブル、タイムライン可視化の3つの主要なコンponentsを備えた、カスタム設計のクラウドソーシングインターフェースをアマゾンMechanical Turkに実装した。
• 資格要件（少なくとも20件の承認済みタスク、承認率90％以上）、時間制限（1000フレームあたり15分以内）、報酬構造（正確性および重複行動検出に対するボーナスを含む）を用いて品質管理を実施した。
• 各タスクの最小アノテーション閾値（動画長に応じて動的にスケーリング）を設定し、未達成の場合は除外処理を実施することで、完全性を保証した。
• 動画フレーム数に応じて報酬と時間制限を線形スケーリングすることで、長さの異なるタスク間で一貫性と動機付けを維持した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ長時間にわたる行動データセットを、高品質かつ一貫性を保ちながらクラウドソーシングによるアノテーションで効果的に収集する方法は何か？
• RQ2 自然言語によるクラウドソーシングアノテーションは、現実世界の状況において、複雑で時間的に広がった、重複する人間の行動をどの程度正確に表現できるか？
• RQ3 行動認識研究における長時間の動画シーケンスに対して、クラウドソーシングパイプラインの設計およびパrameter選択は、アノテーションの品質と効率を最大限に高めるか？
• RQ4 タイムライン可視化ツールの導入は、クラウドソーシングアノテーションにおける重複または並列な行動の検出に、どのような影響を及ぼすか？
• RQ5 Kinect 2センサーを用いてロボットの視点から記録されたデータセットは、サービスロボティクス分野における長期的行動認識の有効なベンチマークとして機能できるか？

主な発見

• CLADデータセットは、100以上の動画シーケンスを含み、複雑で長時間にわたる日常的行動を、RGB-Dデータ、点群、スケルトントラックとともにKinect 2センサーで記録したものである。
• 構造的なインターフェースを備えたクラウドソーシングにより、アノテーションの品質とスケーラビリティの両立を達成した。
• 正確性および重複行動検出に対するボーナスを含む報酬モデルにより、高品質なラベリングが効果的に促進され、1000フレームあたり最大3ドルの報酬が支払われた。
• 資格要件と未達成時の除外処理を用いることで、すべてのタスクが最小アノテーション閾値を満たすことが保証され、データセットの完全性が向上した。
• タイムライン可視化ツールの導入にもかかわらず、アノテーション品質に顕著な向上は観察されず、現段階では限定的な有用性であると示唆された。
• 本データセットはhttps://doi.org/10.5518/249にて公開されており、ロボティクスおよびコンピュータビジョン分野における長期的行動認識、スケルトン追跡、オブジェクト検出のベンチマークとして機能している。