[논문 리뷰] Recognizing Handwritten Source Code

Qiyu Zhi, Ronald Metoyer|arXiv (Cornell University)|2017. 01. 01.

Software Engineering Research참고 문헌 38인용 수 2

한 줄 요약

이 논문은 상용 손글자 인식기의 성능을 프로그래밍 언어 문법 규칙을 통합하여 향상시켜 손으로 쓴 파이썬 소스 코드의 인식 정확도를 높이는 방법을 제안한다. MyScript의 출력 결과를 문법적 제약 조건과 토큰 수준 보정을 통해 후처리함으로써, 시스템은 8.6%의 단어 오류율(WER)과 3.6%의 문자 오류율(CER)을 달성하였으며, 이는 표준 인식 성능을 뛰어나고 가상 키보드 입력 성능과 유사하다.

ABSTRACT

Supporting programming on touchscreen devices requires effective text input and editing methods. Unfortunately, the virtual keyboard can be inefficient and uses valuable screen space on already small devices. Recent advances in stylus input make handwriting a potentially viable text input solution for programming on touchscreen devices. The primary barrier, however, is that handwriting recognition systems are built to take advantage of the rules of natural language, not those of a programming language. In this paper, we explore this particular problem of handwriting recognition for source code. We collect and make publicly available a dataset of handwritten Python code samples from 15 participants and we characterize the typical recognition errors for this handwritten Python source code when using a state-of-the-art handwriting recognition tool. We present an approach to improve the recognition accuracy by augmenting a handwriting recognizer with the programming language grammar rules. Our experiment on the collected dataset shows an 8.6% word error rate and a 3.6% character error rate which outperforms standard handwriting recognition systems and compares favorably to typing source code on virtual keyboards.

연구 동기 및 목표

• 터치스크린 기기에서 전통적인 손글자 인식 시스템이 프로그래밍 언어 문법을 지원하지 않아서 발생하는 손글자 소스 코드 정확한 인식 문제를 해결한다.
• 일반적인 자연어에 최적화된 일반 목적의 손글자 인식 엔진이 캐멀 케이스, 언더스코어, 공백 없이 구분된 식별자 등 코드에서 흔한 요소를 다루는 데 어려움을 겪는 문제를 해결한다.
• 기본 인식기 재학습 없이도 인식 정확도를 향상시킬 수 있는 실용적인 문법 보강 후처리 프레임워크를 개발한다.
• 향후 손글자 소스 코드 인식 분야의 연구를 지원하기 위해 15명의 참가자로부터 수집한 555줄의 손글자 파이썬 코드 데이터셋을 공개한다.
• 문법 인식 보정 기법이 손글자 소스 코드 인식의 오류율을 크게 감소시킬 수 있음을 입증하여 스타일러스 기반 프로그래밍이 가상 키보드 대체 수단이 될 수 있음을 보여준다.

제안 방법

• 태블릿과 스타일러스를 사용해 15명의 참가자로부터 손글자 파이썬 코드 555줄의 데이터셋을 수집하였으며, 공유된 코드 샘플과 참가자 고유의 함수를 포함한다.
• 기준 성능을 확보하기 위해 MyScript 손글자 인식 엔진을 사용하여 모든 손글자 입력을 상용 API를 통해 처리한다.
• 파이썬의 문법 규칙을 활용해 인식 결과를 검증하고 보정하는 후처리 파이프라인을 구현하였으며, 이는 토큰화, 구문 검사, 맥락 기반 단어 교체를 포함한다.
• 일반적인 오류를 식별하고 수정하기 위해 정규 표현식과 문법 생성 규칙을 적용하였으며, 이는 잘못 인식된 식별자, 누락되거나 잘못된 연산자, 잘못된 간격 등의 오류를 포함한다.
• 구문적 맥락에 따라 토큰을 병합하거나 분리하는 룰 기반 접근 방식을 사용하였으며, 예를 들어 'ifthen'을 맥락에 따라 'if then'으로, 'variableName'을 'variable name'으로 교정하는 식이다.
• 정답 코드와의 비교를 통해 시스템 성능을 평가하였으며, 전체 데이터셋에 대해 단어 오류율(WER)과 문자 오류율(CER)을 측정하였다.

실험 결과

연구 질문

• RQ1 일반적인 손글자 인식기만을 사용하는 것과 비교해, 문법 기반 후처리 기법이 손글자 소스 코드 인식의 오류율을 유의미하게 감소시킬 수 있는가?
• RQ2 일반적인 엔진인 MyScript를 사용할 경우, 파이썬 코드에서 흔한 손글자 인식 오류—예를 들어 잘못 인식된 식별자나 잘못된 간격—는 어떻게 나타나는가?
• RQ3 기존 상용 손글자 인식 시스템이 프로그래밍 언어 특화 후처리를 통해 어느 정도 소스 코드 인식 성능을 향상시킬 수 있는가?
• RQ4 오류율과 프로그래밍 작업의 사용성 측면에서, 손글자 기반 코드 입력 방식은 가상 키보드 입력 방식과 비교해 어떤가?
• RQ5 어떤 오류 패턴이 문법적 및 어휘적 제약 조건을 통해 체계적으로 교정될 수 있는가?

주요 결과

• 문법 기반 후처리 기법을 적용한 결과, 수집한 데이터셋에서 단어 오류율(WER)은 8.6%로 감소하였고, 문자 오류율(CER)은 3.6%로 낮아져 기준 MyScript 인식기보다 유의미하게 뛰어난 성능을 보였다.
• 시스템의 성능는 가상 키보드 입력과 유사하며, 가상 키보드의 총 오류율(7.81%)과 유사한 수준이므로, 이는 이동형 기기에서의 프로그래밍을 위한 실용적인 대안이 될 수 있음을 시사한다.
• MyScript의 출력 결과에서 흔한 오류로는 캐멀 케이스 식별자 인식 오류(예: 'myVariable'이 'my variable' 또는 'myvariable'으로 잘못 인식됨), 연산자 주변 간격 오류, 'def' 또는 'return'과 같은 关련 키워드 인식 실패 등이 있었다.
• 언어의 문법 규칙을 활용함으로써 다중 토큰 오류의 효과적인 보정이 가능했고, 특히 단어 경계가 모호한 경우 복합 식별자의 인식 향상에 기여하였다.
• 15명의 참가자로부터 수집한 555줄의 손글자 파이썬 코드 데이터셋은 공개되어 있으며, 향후 손글자 소스 코드 인식 연구의 유의미한 기준이 될 수 있다.
• 결과적으로, 문법 인식 보정 기반 손글자 입력은 모바일 및 터치스크린 기기에서 프로그래밍을 위한 실용적이고 정확한 입력 수단이 될 수 있으며, 특히 전체 코드 작성보다는 코드 편집에 더 적합하다.