[논문 리뷰] Sketchforme: Composing Sketched Scenes from Text Descriptions for Interactive Applications

Forrest Huang, John Canny|arXiv (Cornell University)|2019. 04. 08.

Multimodal Machine Learning Applications참고 문헌 21인용 수 8

한 줄 요약

Sketchforme는 자연어 설명에서 다중 객체 스케치 장면을 생성하는 신경망 기반 시스템으로, 두 단계 프로세스를 사용한다: 첫째, 장면 조율자가 캡션과 경계 상자 정보가 포함된 자연 이미지 데이터셋에서 레이아웃 구성도를 생성한다. 둘째, 개체 스케치기가 객체의 외형 비율을 준수하면서도 현실적이고 표현적인 스케치를 생성한다. 이 시스템은 사용자 중 36.5%가 인간이 그린 것으로 평가한 스케치를 생성하며, 스케치 기반 언어 학습과 지능형 스케치 보조 도구를 크게 향상시킨다.

ABSTRACT

Sketching and natural languages are effective communication media for interactive applications. We introduce Sketchforme, the first neural-network-based system that can generate sketches based on text descriptions specified by users. Sketchforme is capable of gaining high-level and low-level understanding of multi-object sketched scenes without being trained on sketched scene datasets annotated with text descriptions. The sketches composed by Sketchforme are expressive and realistic: we show in our user study that these sketches convey descriptions better than human-generated sketches in multiple cases, and 36.5% of those sketches are considered to be human-generated. We develop multiple interactive applications using these generated sketches, and show that Sketchforme can significantly improve language learning applications and support intelligent language-based sketching assistants.

연구 동기 및 목표

• 텍스처가 레이블링된 스케치 데이터셋을 요구하지 않고 자연어 설명에서 스케치 장면을 생성하는 시스템을 개발하는 것.
• 스케치와 자연어를 융합한 상호작용형 응용 프로그램을 통해 사용자 표현력과 학습 능력을 향상시키는 것.
• 고수준의 장면 구성 의미 이해와 저수준의 스케치 기법 간의 다리를 놓는 것.
• 사용자 연구를 통해 생성된 스케치의 현실성과 표현력이 인간이 그린 스케치와 비교해 어떻게 평가되는지 평가하는 것.
• 언어 학습과 지능형 스케치 보조 도구 분야에서 실용적 응용을 보여주는 것.

제안 방법

• 장면 조율자는 자연 이미지 데이터셋에서 텍스트 캡션, 경계 상자, 클래스 레이블을 포함해 훈련된 신경망을 사용하여 다중 객체의 레이아웃 구성도를 생성한다.
• 개체 스케치기는 레이아웃 구성도에서 유도된 객체의 외형 비율에 조건부로 설정된 파생된 Sketch-RNN 모델을 미세조정하여 스트로크 기반 스케치를 생성한다.
• 시스템은 고수준의 장면 구성과 저수준의 스케치 생성을 분리하여, 텍스트-스케치 쌍 데이터셋이 필요 없이 모듈러하게 훈련할 수 있도록 한다.
• 경계 상자의 외형 비율은 개체 스케치기에서 스케치의 형태와 자세를 안내하는 조건부 신호로 사용된다.
• 두 단계의 파이프라인은 자연 이미지 데이터셋과 레이블만으로도 훈련된 경우에도 표현력 있고 일관된 다중 객체 스케치를 생성할 수 있도록 한다.
• 사용자가 제공한 자연어 설명에 기반해 스케치를 즉시 생성함으로써 상호작용형 응용 프로그램을 지원한다.

실험 결과

연구 질문

• RQ1 텍스처가 레이블링된 스케치 데이터셋을 의존하지 않고 신경망이 자연어 설명에서 직접 현실적인 다중 객체 스케치 장면을 생성할 수 있는가?
• RQ2 Sketchforme가 생성한 스케치는 인간이 그린 스케치와 비교해 얼마나 표현력 있고 현실적인가?
• RQ3 Sketchforme는 스케치 기반 언어 학습 응용 프로그램을 어느 정도 향상시킬 수 있는가?
• RQ4 Sketchforme는 자연어 입력에 반응하여 관련 있는 스케치를 생성하는 지능형 스케치 보조 도구를 지원할 수 있는가?
• RQ5 예를 들어 정사각형 경계 상자에서 코끼리의 얼굴만 스케치하는 경우와 같이, 외형 비율이 오해의 소지가 있을 때 발생하는 차폐된 객체나 일관되지 않은 자세 등의 스케치 생성의 주요 제약 사항은 무엇이며, 이를 어떻게 해결할 수 있는가?

주요 결과

• 사용자 연구에서 Sketchforme가 생성한 스케치 중 36.5%가 인간이 그린 것으로 판단되었으며, 이는 강력한 현실성과 표현력을 의미한다.
• 다섯 가지 테스트 설명 중 두 가지에 대해 참가자들이 Sketchforme가 생성한 스케치가 인간이 그린 스케치보다 더 표현력 있게 평가했다.
• Sketchforme를 활용한 스케치 기반 언어 학습 응용 프로그램은 사용자 참여도와 학습 성과에서 뚜렷한 향상을 보였다.
• 시스템은 자연어 입력에서 맥락적으로 관련 있는 스케치를 생성하는 지능형 스케치 보조 도구를 성공적으로 구현했다.
• 주요 제약 사항으로는 차폐된 객체 처리 및 외형 비율이 오해의 소지가 있을 경우(예: 정사각형 경계 상자에서 코끼리의 얼굴만 스케치하는 경우) 일관되지 않은 자세를 유도하는 문제점이 있다.
• 향후 연구에서는 자세 모델링, 차폐 처리, 색상 및 애니메이션 통합을 통해 현실성과 표현력을 향상시키는 방향으로 탐색해야 한다.