최준영 교수

손 모양 인식은 자연스러운 인간-컴퓨터 상호작용을 위한 기반 기술이다. 본 논문에서는 Kinect 기반 손 모양 인식을 위해 효과적으로 손 영역을 검출하기 위한 방법에 대해 논의한다. Kinect는 컬러 영상과 적외선 영상(혹은 깊이 영상)을 동시에 획득할 수 있는 카메라이기 때문에, 손 영역을 검출하는 과정에서 컬러 정보와 깊이 정보를 활용할 수 있다. 즉, 손 영역은 스킨 컬러를 가지는 영역으로 검출될 수도 있으며, 일정한 깊이 값을 가지는 영역으로 검출될 수도 있다. 그러므로, 이러한 방법들의 성능을 분석하여, 손 영역의 실루엣이 깔끔하게 도출될 수 있도록 적절히 결합하는 방법이 마련되어야 한다. 이는 손 모양 인식률을 크게 좌우하기 때문이다. 최종적으로 일반적인 환경에서 손 영역 검출 방법의 차이에 따른 손 모양 인식률을 비교함으로써, 성능이 우수한 손 영역 검출 방법을 제안한다.

최근 휴대폰의 발전과 더불어 휴대폰 환경에 적합한 인터페이스에 대한 연구가 많이 이루어지고 있다. 본 논문에서는 특히 사람에게 친숙한 손동작을 이용한 상호작용에 주목하여, 휴대폰 상에서 손동작을 이용한 비전 기반 인터페이스를 구현하였다. 사용자가 한 손에 휴대폰을 들고 휴대폰의 카메라를 통해서 다른 손의 손바닥을 바라보면, 사용자의 손바닥 위에 가상 객체가 증강되고 사용자는 자신의 손과 손가락의 움직임을 통해서 가상 객체와 상호작용 할 수 있다. 구현된 인터페이스는 사람에게 친숙한 손동작을 기반으로 동작하기 때문에, 사용자는 별도의 훈련 과정 없이 친숙하게 사용가능하다. 또한, 추가적인 센서나 마커를 요구하지 않기 때문에, 사용자가 원하는 시간과 장소에서 자유롭게 가상 객체와 상호작용 할 수 있다. 일부 시간이 많이 걸리는 처리 과정을 휴대폰 환경에 적합하도록 최적화, 고속화함으로써, 구현된 인터페이스는 상용화된 휴대폰(Galaxy S2)에서 5 fps로 동작한다.

기존의증강현실을위한비전기반인터페이스는대부분환경적인제약을받거나, 특수한장비혹은복잡한모델을요 구하기때문에, 사용자에게불편함을주거나실시간동작이힘들었다. 예를들어, 마커를이용하면구현상의편의성과정 확성을보장하지만, 일반적으로마커는환경과대비되는모양을가지기때문에, 사용자에게거부감을줄수있으며무엇보 다복잡한인터랙션에는적용되기힘들다. 본논문은증강현실을위한비전기반인터페이스로서손동작을제안한다. 손동 작을이용할경우, 자연스럽고다양한인터랙션을수행할수있지만, 손동작을정확히인식하는일은쉽지않다. 이로인해 지금까지제안된방법을증강현실시스템에적용하는데는한계가있다. 본논문에서는기본적으로손동작을이용한인터 페이스를제안하는데, 손동작인식을위한알고리즘을효율적으로개선함으로써, 복잡한환경에서적은연산량으로자연 스러운인터랙션을제공하고자한다. 제안된인터페이스는손의자연스러운움직임을감지해서손의모양과동작에따라 서가상의물체를자연스럽게제어할수있도록해준다. 다양한환경에서의실험및사용자평가를통해제안된인터페이 스의 유용성을 검증하였다.

춤에 관한 연구에서 안무가의 춤 동작을 인식하는 것은 중요한 주제 중 하나이다. 본 논문에서는 사용자의 동작 중에서도 손동작에 해당하는 손의 위치와 손 모양을 인식하는 방법을 제안한다. 일반적인 손의 위치와 손 모양을 인식하는 방법은 복잡한 배경에서는 동작하기 힘들다는 단점을 가지고 있으나, 제안하는 방법은 적외선과 가시광선의 입력을 동시에 받는 하이브리드 카메라를 이용함으로써 복잡한 배경에서도 효과적으로 손을 검출할 수 있다. 또한, 대상의 몸에 마커나 센서를 부착함으로써 사용자의 움직임을 추적하는 방법과는 다르게 비전 기반 방법을 사용함으로써 안무가의 몰입을 방해하지 않으면서 양손의 위치와 손 모양을 인식할 수 있다. 본 논문에서는 간단하지만 효과적인 방법을 사용함으로써 실시간 연산이 가능하다.

본 논문은 단안의 RGB 카메라를 이용하는 실시간 손 추적 방법을 제안한다. 손은 높은 degrees of freedom을 가지고 있기 때문에 손 추적은 높은 모호성을 가지고 있다. 따라서 제안하는 방법에서는 손 추적의 모호성을 줄이기 위해서 단계별 손 추적 전략을 채택하였다. 제안하는 방법의 추적 과정은 손바닥 포즈 추적, 손가락 yaw 움직임 추적, 그리고 손가락 pitch 움직임 추적, 세 단계로 구성되어 있으며, 각 단계는 순서대로 수행된다. 제안하는 방법은 손은 평면으로 간주할 수 있다고 가정하고, 평면 손 모델을 이용한다. 평면 손 모델은 손 모델을 현재의 사용자 손 모양에 맞춰서 변경하는 손 모델 재생성을 가능하게 하는데, 이는 제안하는 방법의 강건성과 정확도를 증가시킨다. 그리고 제안하는 방법은 실시간 연산이 가능하고 GPU 기반 연산을 요구하지 않기 때문에, Google Glass와 같은 모바일 장비를 포함한 다양한 환경에 적용가능하다. 본 논문은 다양한 실험을 통해