[論文レビュー] A Topological derivative based image segmentation for sign language recognition system using isotropic filter

M. Krishnaveni, V. Radha|arXiv (Cornell University)|Jan 12, 2010

Hand Gesture Recognition Systems参考文献 9被引用数 4

ひとこと要約

本稿では、聴覚障害者向けの手話認識システムの性能向上を目的として、トポロジカル・ドレキチブに基づく画像セグメンテーション手法と等方的フィルタリングを組み合わせた手法を提案する。セグメンテーションの前段階でトポロジカル・ドレキチブを用いた画像回復を施すことにより、背景からの手の形状の分離精度が向上し、認識性能が顕著に向上する。

ABSTRACT

The need of sign language is increasing radically especially to hearing impaired community. Only few research groups try to automatically recognize sign language from video, colored gloves and etc. Their approach requires a valid segmentation of the data that is used for training and of the data that is used to be recognized. Recognition of a sign language image sequence is challenging because of the variety of hand shapes and hand motions. Here, this paper proposes to apply a combination of image segmentation with restoration using topological derivatives for achieving high recognition accuracy. Image quality measures are conceded here to differentiate the methods both subjectively as well as objectively. Experiments show that the additional use of the restoration before segmenting the postures significantly improves the correct rate of hand detection, and that the discrete derivatives yields a high rate of discrimination between different static hand postures as well as between hand postures and the scene background. Eventually, the research is to contribute to the implementation of automated sign language recognition system mainly established for the welfare purpose.

研究の動機と目的

• 聴覚障害者を対象とした手話動画シーケンスにおける正確な手のポーズ検出の課題に取り組む。
• 形状や動きの変動が著しい複雑な背景下でも、セグメンテーションの品質を向上させる。
• セグメンテーションの前処理としてトポロジカル・ドレキチブによる画像回復を統合することで、認識精度を向上させる。
• 主観的および客観的な画像品質評価指標を用いて、手法の比較を実施する。
• 自動化・福祉指向の手話認識システムの開発に貢献する。

提案手法

• 本手法は、セグメンテーションの前段階でトポロジカル・ドレキチブを用いて画像特徴を検出し、回復することで、手領域抽出の忠実性を向上させる。
• 画像を平滑化しノイズを低減するために等方的フィルタを適用し、トポロジカル・ドレキチブの計算効果を高める。
• 境界積分表現を用いてトポロジカル・ドレキチブを計算し、ドメインの摂動（例：穴の挿入）に最適な位置を特定する。
• 回復処理後にセグメンテーションを実施し、強化された画像を用いて背景からの手のポーズを分離する。
• 性能比較のため、画像品質を客観的（指標を用いて）および主観的（視覚的検査）に評価する。
• 本手法は静的の手話ポーズを対象とし、手と背景の識別に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 トポロジカル・ドレキチブに基づく回復処理は、手話画像シーケンスにおけるセグメンテーション精度の向上に寄与するか？
• RQ2 等方的フィルタリングは、照明条件や背景状況の変化に伴う手領域検出のロバスト性をどのように向上させるか？
• RQ3 トポロジカル・ドレキチブによる前処理は、手のポーズと背景との区別をどの程度高めるか？
• RQ4 客観的および主観的な画像品質指標において、本手法の相対的性能はいかなるものか？
• RQ5 本手法は、福祉用途のリアルタイム手話認識システムへの応用に有効に適用可能か？

主な発見

• セグメンテーションの前処理としてトポロジカル・ドレキチブに基づく回復処理を適用することで、手のポーズの正しく検出される割合が顕著に向上する。
• 離散的トポロジカル・ドレキチブは、手のポーズと背景との間で高い識別能を示し、明確なセグメンテーションを可能にする。
• 等方的フィルタリングとトポロジカル・ドレキチブ処理の組み合わせにより、画像品質とセグメンテーション精度が向上する。
• 主観的および客観的な画像品質評価により、ベースライン手法に比べて本手法の優位性が確認された。
• 本手法は、補助技術向けの自動化された手話認識システムへの統合に強く期待できる。
• 特に複雑またはノイズの多い視覚環境下でも、認識性能の向上が達成された。