[논문 리뷰] CoSE: Compositional Stroke Embeddings

Emre Aksan, Thomas Deselaers외 2명|arXiv (Cornell University)|2020. 06. 17.

Handwritten Text Recognition Techniques참고 문헌 38인용 수 12

한 줄 요약

CoSE는 복잡한 스트로크 기반 그림을 구성적 생성 모델로 다루기 위해 그림을 길이가 가변인 스트로크의 순서 없는 집합으로 간주하고, 지역적 스트로크 외형과 전반적 구조적 구성 간의 분리된 잠재 공간을 사용한다. 이 모델은 이전의 순서 기반 접근 방식보다 복잡한 다이어그램과 플로우차트 예측에서 뛰어난 성능을 보이며, 종단 간 훈련 가능한 오토인코더와 잠재 공간 내의 관계 예측 모델을 통해 DiDi, QuickDraw, IAM-OnDB 데이터셋에서 재구성 및 예측 정확도가 뛰어나다.

ABSTRACT

We present a generative model for complex free-form structures such as stroke-based drawing tasks. While previous approaches rely on sequence-based models for drawings of basic objects or handwritten text, we propose a model that treats drawings as a collection of strokes that can be composed into complex structures such as diagrams (e.g., flow-charts). At the core of the approach lies a novel autoencoder that projects variable-length strokes into a latent space of fixed dimension. This representation space allows a relational model, operating in latent space, to better capture the relationship between strokes and to predict subsequent strokes. We demonstrate qualitatively and quantitatively that our proposed approach is able to model the appearance of individual strokes, as well as the compositional structure of larger diagram drawings. Our approach is suitable for interactive use cases such as auto-completing diagrams. We make code and models publicly available at https://eth-ait.github.io/cose.

연구 동기 및 목표

• 플로우차트 및 다이어그램과 같은 복잡하고 구성적인 그림 생성에서 순서 기반 모델의 한계를 해결하기 위해.
• 스트로크 기반 데이터에서 지역적 스트로크 외형과 전반적 구조적 구성 간의 분리를 통해 더 나은 생성 모델링을 가능하게 하기 위해.
• 고정된 차원의 잠재 공간 내에서 관계 모델을 사용해 희소한 초기 스트로크로부터 상호작용적이고 자동 완성 가능한 다이어그램을 가능하게 하기 위해.
• 재구성과 구성적 추론을 모두 지원하는 균형 잡힌 분리된 잠재 표현을 학습함으로써 더 나은 예측 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 모델은 그림을 스트로크의 순서 없는 집합으로 간주하며, 각 스트로크는 2D 좌표의 시퀀스로 표현되어 스트로크 순서 의존성을 제거한다.
• 딥 오토인코더는 길이가 가변인 스트로크를 고정된 차원의 잠재 공간으로 매핑하여 지역적 외형과 구조적 맥락을 유지한다.
• 관계 모델은 잠재 공간에서 현재 스트로크 집합을 기반으로 향후 스트로크 임베딩을 예측하며, 불확실성 모델링을 위해 GMM 기반 다중 모달 분포를 사용한다.
• 디코더는 예측된 잠재 임베딩에서 스트로크를 재구성하며, 전체 모델은 인코더-디코더에 대한 재구성 손실만을 사용해 종단 간 훈련되며, 관계 모델로의 기울기 역전파가 이루어지지 않는다.
• 관계 모델의 주요 확률적 소스로 10개 성분을 가진 GMM을 사용하여 예측의 다양성과 정확도를 향상시켰다.
• 모델은 DiDi(복잡한 다이어그램), QuickDraw(자유형 스케치), IAM-OnDB(손글씨)에서 평가되었으며, GMM 성분 수와 기울기 흐름에 대한 분석 실험도 수행되었다.

실험 결과

연구 질문

• RQ1 그림을 스트로크의 순서 없는 집합으로 간주하는 생성 모델이 복잡한 다이어그램 구조 예측에서 순서 기반 모델을 능가할 수 있는가?
• RQ2 지역적 스트로크 외형과 전반적 구성적 구조 간의 분리가 재구성 및 예측 성능 향상에 기여하는가?
• RQ3 잠재 공간 표현의 선택이 다이어그램, 스케치, 손글씨와 같은 다양한 스트로크 기반 데이터에 대한 일반화 능력에 어떤 영향을 미치는가?
• RQ4 기울기 흐름 및 GMM 성분 수와 같은 아키텍처 선택이 관계 모델의 예측 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 CoSE 모델은 DiDi 데이터셋에서 재구성 오차(Recon. CD) 0.0136과 예측 오차(Pred. CD) 0.0442를 기록하여 기준 모델을 능가한다.
• 관계 모델에서 GMM 성분을 10개 이상로 사용할 경우 예측 성능이 유의미하게 향상되며, 최종 모델에선 10개 성분을 사용하였다.
• 인코더로 기울기를 역전파하면 재구성 오차와 예측 오차가 각각 0.0162와 0.0470으로 증가하여, 관계 모델을 격리함으로써 더 나은 분리가 유지됨을 시사한다.
• 정성적 결과는 CoSE가 희소한 초기 스트로크로부터조차도 일관되고 맥락에 부합하는 다이어그램 연속성을 생성하는 반면, SketchRNN과 같은 기준 모델은 복잡한 구조에서 실패함을 보여준다.
• CoSE에서 학습된 잠재 공간은 더 나은 일반화와 구성적 추론을 가능하게 하며, DiDi, QuickDraw, IAM-OnDB와 같은 다양한 데이터셋에서의 성능 향상으로 이를 입증한다.
• 모델은 강력한 상호작용 잠재력을 보이며, 사용자 입력 기반 실시간 다이어그램 자동 완성 기능을 보여주는 개념 증명 데모를 제시한다.