[論文レビュー] MS-ASL: A Large-Scale Data Set and Benchmark for Understanding American Sign Language

Hamid Reza Vaezi Joze, Oscar Koller|arXiv (Cornell University)|Dec 3, 2018

Hand Gesture Recognition Systems参考文献 77被引用数 146

ひとこと要約

この論文は、222人の手話話者と1000のグロス指標を持つ初の大規模ASLデータセットであるMS-ASLを紹介し、2D/3D CNN、ボディ・キーポイント・ストリーム、およびI3Dを用いたベースラインを確立し、I3Dが最も優れた性能を示すことを示すとともに、認識精度におけるクラス数とサンプル数の影響を分析しています。

ABSTRACT

Sign language recognition is a challenging and often underestimated problem comprising multi-modal articulators (handshape, orientation, movement, upper body and face) that integrate asynchronously on multiple streams. Learning powerful statistical models in such a scenario requires much data, particularly to apply recent advances of the field. However, labeled data is a scarce resource for sign language due to the enormous cost of transcribing these unwritten languages. We propose the first real-life large-scale sign language data set comprising over 25,000 annotated videos, which we thoroughly evaluate with state-of-the-art methods from sign and related action recognition. Unlike the current state-of-the-art, the data set allows to investigate the generalization to unseen individuals (signer-independent test) in a realistic setting with over 200 signers. Previous work mostly deals with limited vocabulary tasks, while here, we cover a large class count of 1000 signs in challenging and unconstrained real-life recording conditions. We further propose I3D, known from video classifications, as a powerful and suitable architecture for sign language recognition, outperforming the current state-of-the-art by a large margin. The data set is publicly available to the community.

研究の動機と目的

• 大規模で話者に依存しないASLデータセットを作成し、制約の少ない実生活録画でディープラーニングを可能にする。
• RGB動画のみを用いたASL認識の多様なアーキテクチャに対して、包括的なベースラインを提供する。
• 多様で大規模な語彙データセットにおけるサイン言語認識に対するI3Dの有効性を示す。
• クラス数とクラスあたりのサンプル数が認識性能に与える影響を分析する。

提案手法

• 公開されているASL動画から自動ラベリングと手動ラベリングを組み合わせ、222人の話者にわたる1000のグロス指標を生成した大規模ASLデータセット（MS-ASL）を作成する。
• RGB入力と固定フレーム窓を用いて、2D-CNN+LSTM、ボディ・キーポイント・ストリーム、3D-CNNアーキテクチャのベースラインを評価する。
• 強力なベースラインとしてI3D（inflated 3D ConvNet）を採用し、既存の最先端手法と比較する。
• トレイン/バリデーション/テストの各セットに異なる話者を設けることで、話者独立性を組み込む。
• 将来の研究利用のために、MS-ASLでトレーニングされたドメイン内の事前学習I3Dモデルを提供する。

実験結果

リサーチクエスチョン

• RQ1 1000のサインを持つ大規模で話者独立なASLデータセットは、制約のある実生活ビデオに対する効果的なディープラーニングベースの認識を可能にするか。
• RQ2 どのアーキテクチャ（2D-CNN+LSTM、ボディ・キーポイント、3D-CNN、I3D）がMS-ASLで最も強力なベースライン性能を提供するか。
• RQ3 クラス数の増加とクラスあたりのサンプル数の増加は認識精度にどう影響するか。
• RQ4 MS-ASLで訓練された事前学習モデルとオフ・ドメインの事前学習をASL認識に用いる場合の影響はどうか。

主な発見

Method	ASL100	ASL200	ASL500	ASL1000
Naive Classifier	0.99	0.50	0.21	0.11
VGG+LSTM [Cui et al., 2017]	13.33	7.56	1.47	-
HCN [Zhu et al., 2016]	46.08	35.85	21.45	15.49
Re-Sign [Koller et al., 2017]	45.45	43.22	27.94	14.69
I3D [Carreira and Zisserman, 2017]	81.76	81.97	72.50	57.69

• I3Dは、すべてのサブセットで最も高いクラス別精度を達成しており、例としてASL1000で81.08%、ASL1000でのトップ5精度は57.69%である。
• ボディ・キーポイントベースのHCNは2D-CNNベースラインを上回るがI3Dには及ばず、手・指の表現に改善の余地があることを示す。
• このデータセットでは1フレームの文脈が限られ、高い変動性のため2D-CNNベースラインは性能が低い。
• MS-ASLでのドメイン内事前学習は性能を大幅に向上させる（例：I3DはASL200で事前学習してからASL100で学習した場合、ASL100で83.36%だったのに対し、ASL100で事前学習した場合は85.32%のクラス別精度に達する）。
• クラス数を増やすと学習・テストで精度が低下するが、クラスあたりのサンプル数を増やすとこの低下を緩和できる；データが多いほど影響は小さくなる。
• クラスあたりの学習サンプル数を増やすと精度が向上し、サンプルが約40未満のクラスで顕著な改善が見られる；それを超えるとサインの曖昧さも影響する。