[論文レビュー] Blind Recognition of Touched Keys: Attack and Countermeasures

Qinggang Yue, Zhen Ling+3 more|arXiv (Cornell University)|Mar 19, 2014

User Authentication and Security Systems参考文献 31被引用数 10

ひとこと要約

本論文は、光学的流れと同型写像を用いて動画映像からパスワードを推定する、盲目的なタッチキーボード認識を可能にする画期的なコンピュータビジョン攻撃を提示している。この攻撃は90%を超える成功率を達成する。これを対処するために、ランダム化されたキーレイアウトを備えた文脈認識型プライバシー強化キーボード（PEK）を提案しており、入力時間を著しく延長するが、プライバシー保護の観点からは妥当であるとされる。

ABSTRACT

In this paper, we introduce a novel computer vision based attack that discloses inputs on a touch enabled device, while the attacker cannot see any text or popups from a video of the victim tapping on the touch screen. In the attack, we use the optical flow algorithm to identify touching frames where the finger touches the screen surface. We innovatively use intersections of detected edges of the touch screen to derive the homography matrix mapping the touch screen surface in video frames to a reference image of the virtual keyboard. We analyze the shadow formation around the fingertip and use the k-means clustering algorithm to identify touched points. Homography can then map these touched points to keys of the virtual keyboard. Our work is substantially different from existing work. We target password input and are able to achieve a high success rate. We target scenarios like classrooms, conferences and similar gathering places and use a webcam or smartphone camera. In these scenes, single-lens reflex (SLR) cameras and high-end camcorders used in related work will appear suspicious. To defeat such computer vision based attacks, we design, implement and evaluate the Privacy Enhancing Keyboard (PEK) where a randomized virtual keyboard is used to input sensitive information.

研究の動機と目的

• パスワード入力時のユーザーのプライバシーを脅かす、増加する側帯攻撃の脅威に対処すること。
• 表示テキストや視覚フィードバックに依存しない、目に見えない入力を推定する、巧妙で動画ベースの攻撃を開発すること。
• 実世界の環境で実用的かつユーザーが受け入れ可能な、このような視覚的側帯攻撃に対する防御策を設計すること。
• 機密性の高い入力シナリオにおけるランダム化された仮想キーボードの使いやすさとセキュリティのトレードオフを評価すること。

提案手法

• 動画シーケンスにおいて指がスクリーンに接触する「タッチフレーム」を、光学的流れを用いて検出する。
• エッジの交差検出を用いて、タッチスクリーン表面と基準となる仮想キーボード画像との間の同型写像行列を導出する。
• k-meansクラスタリングを用いて指先の影を特定し、動画フレーム内のタッチポイントを特定する。
• 同型写像変換を用いて検出されたタッチポイントを仮想キーボードのキーにマッピングし、キーの推定を行う。
• ランダム化されたキーレイアウトを備えた2種類のプライバシー強化キーボード（PEK）を実装する：1つはキーレイアウトをシャッフルするもの、もう1つはブラウン運動を用いてキーを動的に移動させるもの。
• AndroidのEditorInfoを活用して文脈認識を実装し、PEKをパスワード入力フィールドでのみ起動するようにする。

実験結果

リサーチクエスチョン

• RQ1 視覚的ヒント（テキストやキーの反応表示など）が存在しない状況でも、コンピュータビジョン攻撃がタッチスクリーン上の入力を正確に推定できるか？
• RQ2 低品質な動画から、高精度な盲目的なタッチキー認識を実現するためのコンピュータビジョン技術は何か？
• RQ3 スクリーンエッジの交差検出から得られる同型写像マッピングは、動画上のタッチポイントを仮想キーボードに正確に一致させるのにどの程度有効か？
• RQ4 ランダム化された仮想キーボードは、このような視覚的側帯攻撃の成功率をどの程度低下させるか？
• RQ5 ランダム化キーボードによる入力時間の増加は、プライバシーに敏感な状況における実際のパスワード入力において許容可能か？

主な発見

• 攻撃は、動画からタッチされたキーを特定する初回成功率が90%を超える一方、2回目の試行では95%を超える。
• 光学的流れとk-meansクラスタリングの併用により、低解像度または遠距離の動画記録でも、タッチポイントの正確な検出が可能である。
• エッジ交差検出を用いた同型写像推定は、従来の特徴ベース手法（例：SIFT）よりも本番の文脈で優れた性能を示した。
• シャッフルされたキーレイアウトを備えたプライバシー強化キーボード（PEK）は、入力時間の中央値を2.2秒から5.86秒に、ブラウン運動PEKは8.24秒にまで延長した。
• 入力時間が延長されたにもかかわらず、94.17%のユーザーがブラウン運動PEKを用いて4文字のパスワードを正常に入力したため、プライバシー保護の観点から高い使いやすさが示された。
• 参加者らは、パスワード入力フィールドでのみ起動されるPEKを、機密性の高い入力の保護に適していると評価しており、実用的実装の有効性を確認した。