[논문 리뷰] Learning Semantic String Transformations from Examples

Rishabh Singh, Sumit Gulwani|arXiv (Cornell University)|2012. 04. 26.

Data Quality and Management참고 문헌 16인용 수 5

한 줄 요약

이 논문은 표 테이블 조회와 문법적 조작을 결합하여 의미론적 문자열 변환을 학습하는 프로그래밍-예제 시스템을 제시한다. 이는 비프로그래머가 스프레드시트에서 복잡한 데이터 변환을 자동화할 수 있도록 한다. 이 접근법은 유도적 합성 알고리즘을 사용하여 몇 개의 입력-출력 예제만으로도 정확한 변환을 유추함으로써 실제 스프레드시트 환경에서 높은 확장성과 사용성 달성한다.

ABSTRACT

We address the problem of performing semantic transformations on strings, which may represent a variety of data types (or their combination) such as a column in a relational table, time, date, currency, etc. Unlike syntactic transformations, which are based on regular expressions and which interpret a string as a sequence of characters, semantic transformations additionally require exploiting the semantics of the data type represented by the string, which may be encoded as a database of relational tables. Manually performing such transformations on a large collection of strings is error prone and cumbersome, while programmatic solutions are beyond the skill-set of end-users. We present a programming by example technology that allows end-users to automate such repetitive tasks. We describe an expressive transformation language for semantic manipulation that combines table lookup operations and syntactic manipulations. We then present a synthesis algorithm that can learn all transformations in the language that are consistent with the user-provided set of input-output examples. We have implemented this technology as an add-in for the Microsoft Excel Spreadsheet system and have evaluated it successfully over several benchmarks picked from various Excel help-forums.

연구 동기 및 목표

• 비프로그래머가 스프레드시트에서 복잡하고 의미론적으로 인지된 문자열 변환을 수행할 수 있도록 하는 도전 과제를 해결하기 위해.
• 의미론적 표 조회와 문법적 문자열 조작을 결합한 표현력 있는 데이터 처리를 위한 변환 언어를 설계하기 위해.
• 최소한의 입력-출력 예제에서 정확한 변환을 추론하는 유도적 합성 알고리즘을 개발하여 최종 사용자에 대한 사용성 향상시키기 위해.
• 실제 스프레드시트 사용 사례에서 Excel 도움 포럼의 실제 벤치마크를 기반으로 시스템을 평가하여 실용성과 확장성 입증하기 위해.

제안 방법

• 논문은 의미론적 문자열 변환을 가능하게 하는 관계형 표 조회를 통한 전환 언어(Lt)를 도입한다.
• Lt에 문자열 결합, 정규표현식 연산 등의 문법적 변환을 추가하여 더 표현력 있는 언어 Lu를 구성한다.
• 주어진 입력-출력 예제 집합과 일치하는 Lu 내 모든 변환을 유추하기 위한 합성 알고리즘을 설계한다.
• 영역에 특화된 지식에 의존하지 않고도 가능한 변환의 공간을 효율적으로 탐색하기 위해 언어 이론적 접근을 사용한다.
• 시스템은 Excel 애드인으로 구현되었으며, 공개된 도움 포럼에서의 실제 사례를 기반으로 평가되었다.
• 이 접근법은 문법적 변환을 위해 QuickCode를 활용하고 의미론적 조회 추론과 통합한다.

실험 결과

연구 질문

• RQ1 프로그래밍-예제 시스템이 날짜, 통화, 관계형 표 항목과 같은 데이터 유형의 이해가 필요한 의미론적 문자열 변환을 효과적으로 학습할 수 있는가?
• RQ2 의미론적 조회와 문법적 조작을 모두 처리하면서도, 몇 개의 입력-출력 예제만으로도 정확한 변환을 추론할 수 있는 합성 알고리즘은 어떻게 설계할 수 있는가?
• RQ3 이러한 시스템은 실제 스프레드시트 사용 사례에서 확장성과 실용적 효과가 있는가?
• RQ4 표 조회와 문법적 문자열 연산을 결합함으로써 순수하게 문법적 또는 의미론적 접근보다 표현력이 어떻게 향상되는가?

주요 결과

• 합성 알고리즘이 실제 Excel 환경에서 입력-출력 예제가 2~4개 밖에 없을 때에도 정확한 의미론적 문자열 변환을 성공적으로 학습한다.
• 시스템은 가격에 마크업을 적용하는 것처럼 다중 표 조회와 문자열 조작을 포함한 복잡한 변환을 처리할 수 있으며, 이는 순수하게 문법적 도구로는 해결할 수 없는 문제이다.
• 일반적인 스프레드시트 크기의 데이터베이스에서도 잘 확장되어 최종 사용자 애플리케이션에서 실시간 성능을 달성한다.
• 공개된 Excel 포럼의 벤치마크를 기반으로 한 평가를 통해 시스템의 실용성과 다양한 데이터 변환 작업에 대한 강건성 확인됨.