[논문 리뷰] Blind Recognition of Touched Keys: Attack and Countermeasures

Qinggang Yue, Zhen Ling외 3명|arXiv (Cornell University)|2014. 03. 19.

User Authentication and Security Systems참고 문헌 31인용 수 10

한 줄 요약

이 논문은 영상 촬영을 통해 화면에 터치된 키를 망각적으로 인식하는 새로운 컴퓨터 비전 공격 기법을 제시한다. 이 기법은 광학 흐름과 동차성 변환 맵핑을 활용하여 비디오 영상에서 암호를 유추하며, 성공률가 90% 이상을 기록한다. 이를 방지하기 위해, 랜덤화된 키 레이아웃을 가진 맥락 인식형 개인정보 보호 키보드(PEK)를 제안하여 입력 시간을 크게 증가시키지만, 개인정보 보호를 위해 허용 가능한 수준으로 간주된다.

ABSTRACT

In this paper, we introduce a novel computer vision based attack that discloses inputs on a touch enabled device, while the attacker cannot see any text or popups from a video of the victim tapping on the touch screen. In the attack, we use the optical flow algorithm to identify touching frames where the finger touches the screen surface. We innovatively use intersections of detected edges of the touch screen to derive the homography matrix mapping the touch screen surface in video frames to a reference image of the virtual keyboard. We analyze the shadow formation around the fingertip and use the k-means clustering algorithm to identify touched points. Homography can then map these touched points to keys of the virtual keyboard. Our work is substantially different from existing work. We target password input and are able to achieve a high success rate. We target scenarios like classrooms, conferences and similar gathering places and use a webcam or smartphone camera. In these scenes, single-lens reflex (SLR) cameras and high-end camcorders used in related work will appear suspicious. To defeat such computer vision based attacks, we design, implement and evaluate the Privacy Enhancing Keyboard (PEK) where a randomized virtual keyboard is used to input sensitive information.

연구 동기 및 목표

• 사용자가 암호를 입력할 때 개인정보가 유출되는 측면 채널 공격의 증가 추세를 대비하여 사용자 프라이버시를 보호할 필요가 있다.
• 시각적 텍스트나 시각 피드백에 의존하지 않고도, 비디오 기반 공격을 통해 터치 입력을 유추할 수 있는 스텔스성 있는 공격 기법을 개발한다.
• 실세계 환경에서 실제 적용 가능한, 사용자 수용성이 높은 대응 기법을 설계하여 이러한 시각적 측면 채널 공격을 방어한다.
• 민감한 입력 환경에서 랜덤화된 가상 키보드의 사용성과 보안 간의 상충 관계를 평가한다.

제안 방법

• 비디오 시퀀스에서 손가락이 터치스크린에 접촉하는 '터치 프레임'을 광학 흐름을 통해 탐지한다.
• 모서리 교차점 검출을 통해 터치스크린 표면과 기준 가상 키보드 이미지 간의 동차성 행렬을 유도한다.
• k-평균 클러스터링을 적용하여 손끝 그림자와 영상 프레임 내의 터치 지점을 식별한다.
• 동차성 변환을 사용하여 감지된 터치 지점을 가상 키보드 키에 매핑하여 키 유추를 수행한다.
• 랜덤화된 키 레이아웃을 가진 두 가지 버전의 개인정보 보호 키보드(PEK)를 구현한다: 하나는 키 레이아웃을 뒤섞는 방식이며, 다른 하나는 브라운 운동을 통해 키를 동적으로 이동시키는 방식이다.
• 안드로이드의 EditorInfo를 활용해 맥락 인식 기능을 통합하여, PEK이 암호 입력 필드에서만 작동하도록 한다.

실험 결과

연구 질문

• RQ1 시각적 단서(예: 텍스트나 키 팝업)가 없는 상황에서 컴퓨터 비전 공격이 터치스크린의 터치 입력을 정확하게 유추할 수 있는가?
• RQ2 저품질 영상에서 조차도 높은 정확도로 터치 키를 망각적으로 식별할 수 있는 컴퓨터 비전 기법은 무엇인가?
• RQ3 화면 모서리 교차점을 기반으로 유도된 동차성 맵핑이 영상의 터치 지점을 가상 키보드에 정확히 정렬하는 데 얼마나 효과적인가?
• RQ4 랜덤화된 가상 키보드가 이러한 시각적 측면 채널 공격에 얼마나 효과적으로 대응하는가?
• RQ5 랜덤화된 키보드로 인해 증가한 입력 시간이 민감한 개인정보 입력 상황에서 실생활 암호 입력에 대해 수용 가능한가?

주요 결과

• 공격는 첫 시도 성공률가 90% 이상이며, 두 번째 시도 시 성공률는 95%를 초과한다. 이는 영상에서 터치된 키를 정확히 식별하는 데 성공했다는 것을 의미한다.
• 광학 흐름과 k-평균 클러스터링을 활용하면 저해상도 또는 거리가 먼 영상에서도 터치 지점을 정확히 탐지할 수 있다.
• 이 경우, 전통적인 특징 기반 방법(예: SIFT)에 비해 모서리 교차점 검출을 통한 동차성 추정이 더 뛰어난 성능을 보였다.
• 셔플된 키 레이아웃을 가진 개인정보 보호 키보드(PEK)는 평균 입력 시간을 2.2초에서 5.86초로 증가시키며, 브라운 운동 PEK는 8.24초로 증가시킨다.
• 입력 시간이 증가했음에도 불구하고, 94.17%의 사용자가 브라운 운동 PEK를 사용해 4자리 암호를 성공적으로 입력했으며, 이는 개인정보 보호를 위한 높은 사용성 잠재력을 보여준다.
• 참가자들은 PEK가 민감한 입력을 보호하는 데 있어 수용 가능하다고 평가했으며, 특히 암호 필드에서만 작동하도록 설정된 경우 더욱 그러하다. 이는 PEK의 실용적 타당성을 확인한다.