[論文レビュー] A design science exploration of a visual-spatial learning system with feedback

Kirsten Ellis, Julie Fisher+2 more|arXiv (Cornell University)|Jun 11, 2016

Usability and User Interface Design参考文献 14被引用数 4

ひとこと要約

本論文では、手話の語彙習得におけるリアルタイムフィードバックを提供する、キネクトベースのビジュアルスパティアル学習システムの開発にためのデザインサイエンスアプローチを提示する。3次元モーショントラッキングと適応型フィードバックメカニズムを活用することで、ユーザーの関与度と物理的サインの正確性が向上し、既存の手話学習ツールに欠けているリアルタイムの誤り訂正の欠如に対する画期的な解決策を提供する。

ABSTRACT

Our paper is research in progress that is research investigating the use of games technology to enhance the learning of a physical skill. The Microsoft Kinect is a system designed for gaming with the capability to track the movement of users. Our research explored whether such a system could be used to provide feedback when teaching sign vocabulary. Whilst there are technologies available for teaching sign language, currently none provide feedback on the accuracy of the users' attempts at making signs. In this paper we report how the three-dimensional dsplay capability of the technology can enhance the users' experience. Also, when using tracking to identify errors in physical movements, how and when should feedback be given. A design science approach was undertaken to find a solution to this real world problem. The design and implementation of the solution provides interesting insights into how technology can not only emulate but also improve upon traditional learning of physical skills.

研究の動機と目的

• ゲーム技術（マイクロソフト・キネクト）が、身体的スキル習得におけるリアルタイムフィードバックを提供するためにどのように適合可能かを調査すること。
• 既存の手話学習ツールに、ユーザーのサイン生成の正確性に関するフィードバックが欠如しているというギャップを解消すること。
• ビジュアルスパティアルフィードバックとモーショントラッキングを通じて、学習体験を向上させるフィードバックシステムを設計および実装すること。
• デザインサイエンス手法を用いて、身体的スキル習得中のフィードバックの最適なタイミングと配信方法を探索すること。
• 技術が、単に伝統的な手話学習法を模倣するのではなく、それを凌駕する可能性があるかどうかを評価すること。

提案手法

• 反復的な開発と最適化を可能にするため、デザインサイエンス研究アプローチが採用された。
• ユーザーが手話のジェスチャーを実行する際の3次元モーショントラッキングデータを、マイクロソフト・キネクトが収集した。
• システムは、手首および身体の位置の空間的トラッキングを用いて、リアルタイムで動きの正確性を分析した。
• 正しいサイン形成のための事前定義された基準に基づき、フィードバックが提供された。タイミングとモダリティは学習に最適化された。
• 設計プロセスには、参加者とのインタラクションに基づくユーザーテストと反復的改善が含まれた。
• システムは、ユーザーが正しいサインモデルと一致するように動きを調整するのを助けるために、ビジュアルスパティアルフィードバックを使用した。

実験結果

リサーチクエスチョン

• RQ1 3次元モーショントラッキング技術は、手話学習中にどのようにしてリアルタイムフィードバックを効果的に提供できるか？
• RQ2 身体的スキル習得の学習効果を向上させるために、フィードバックの最適なタイミングと配信メカニズムは何か？
• RQ3 テクノロジーに基づくシステムは、どのようにして伝統的な手話指導法を強化または凌駕できるか？
• RQ4 ビジュアルスパティアルフィードバックは、サイン生成におけるユーザーの関与度と正確性にどのように影響するか？
• RQ5 ゲーム技術を用いた身体的スキル習得のためのフィードバックシステムを開発するにあたり、どのような設計原則が浮き彫りになるか？

主な発見

• キネクトベースのシステムは、3次元モーショントラッキングを用いて、手話ジェスチャーの正確性に関するリアルタイムフィードバックを効果的に提供した。
• ユーザーは即時のビジュアルスパティアルフィードバックのおかげで関与度が向上し、学習効果を高めていると感じた。
• システムは、客観的で一貫性のあるフィードバックを提供することで、技術が伝統的な手話学習を凌駕できることを示した。
• 最適なフィードバックタイミングは即時的ではあるが、過剰にならないものであり、ユーザーは的確で的を射たフィードバックに最も反応した。
• デザインサイエンスアプローチにより、フィードバック配信、ユーザーエクスペリエンス、身体的スキル習得の文脈におけるシステムの適応性に関する実用的知見が得られた。
• 本研究は、モーショントラッキングシステムが、ゲーム以外の教育的応用に効果的に再利用可能であることを確認した。