[논문 리뷰] Modality Conversion of Handwritten Patterns by Cross Variational Autoencoders

Taichi Sumi, Brian Kenji Iwana외 2명|arXiv (Cornell University)|2019. 06. 14.

Handwritten Text Recognition Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 공유된 잠재 공간을 통해 온라인(시간적 궤적)과 오프라인(이미지) 수기 문자 간 상호 변환을 가능하게 하는 크로스-VAE(Cross-VAE)를 제안한다. 새로운 공간 공유 손실을 사용해 두 VAE를 공동으로 훈련함으로써, 고해상도 인크립션과 스트로크 복원을 달성하며, PSNR(15.99 dB), SSIM(0.707), DTW(0.0361)에서 클래스 평균을 초월한다.

ABSTRACT

This research attempts to construct a network that can convert online and offline handwritten characters to each other. The proposed network consists of two Variational Auto-Encoders (VAEs) with a shared latent space. The VAEs are trained to generate online and offline handwritten Latin characters simultaneously. In this way, we create a cross-modal VAE (Cross-VAE). During training, the proposed Cross-VAE is trained to minimize the reconstruction loss of the two modalities, the distribution loss of the two VAEs, and a novel third loss called the space sharing loss. This third, space sharing loss is used to encourage the modalities to share the same latent space by calculating the distance between the latent variables. Through the proposed method mutual conversion of online and offline handwritten characters is possible. In this paper, we demonstrate the performance of the Cross-VAE through qualitative and quantitative analysis.

연구 동기 및 목표

• 온라인(궤적)과 오프라인(이미지) 수기 문자 간 이방향 모odal 변환을 가능하게 하기 위해.
• 정적 이미지에서 손실된 시간적 스트로크 순서를 복원하는 문제(스트로크 복원)와 궤적에서 이미지를 생성하는 문제(인크립션)를 해결하기 위해.
• 다양한 모달 간 수기 문자의 기본 표현을 포괄하는 공유된 잠재 공간을 학습하기 위해.
• 잠재 변수를 모달 간 정렬하기 위해 새로운 공간 공유 손실을 도입함으로써 기준선 방법보다 성능을 향상시키기 위해.
• 시계열 및 이미지 모달을 모델링하는 데 있어 아키텍처 선택(LSTM 대 비디오 컨볼루션 레이어)의 영향을 평가하기 위해.

제안 방법

• 모델은 이미지 모달(X_b → z_b → Y_b)과 궤적 모달(X_t → z_t → Y_t) 각각에 대해 별도의 VAE를 사용하며, 각각 인코더와 디코더를 포함한다.
• 동일한 수기 문자에 대해 서로 다른 모달 간 잠재 변수 z_b와 z_t 간의 L2 거리를 최소화하기 위해 새로운 공간 공유 손실을 도입한다.
• 전체 손실 함수는 재구성 손실(MSE를 통한 이미지, MSE를 통한 궤적), 분포 손실(KL 발산), 그리고 공간 공유 손실을 조합한다.
• 네트워크는 재구성 정밀도와 잠재 공간 정렬을 동시에 최적화하기 위해 엔드 투 엔드로 훈련된다.
• 시계열 인코더 및 디코더에 컨볼루션 레이어를 사용하여, 궤적 좌표의 공간적 의존성을 더 잘 모델링함으로써 LSTMs보다 우수한 성능을 달성한다.
• 공유된 잠재 공간은 교차 모달 생성을 가능하게 하며, 이미지에서 궤적(스트로크 복원)과 궤적에서 이미지(인크립션)로의 변환을 지원한다.

실험 결과

연구 질문

• RQ1 공유된 잠재 공간이 온라인 및 오프라인 수기 문자 간 정확한 상호 변환을 가능하게 할 수 있는가?
• RQ2 제안된 공간 공유 손실이 서로 다른 모달 간 잠재 표현을 얼마나 효과적으로 정렬하는가?
• RQ3 아키텍처 선택(LSTM 대 비디오 컨볼루션 레이어)이 모달 간 변환 성능에 상당한 영향을 미치는가?
• RQ4 모델은 정적 이미지에서 고해상도의 스트로크 궤적을 재구성할 수 있는가?
• RQ5 이미지 및 궤적 재구성 품질 측면에서 모델은 클래스 평균 기준선보다 어떻게 비교되는가?

주요 결과

• 크로스-VAE는 오프라인에서 온라인으로의 변환(이미지 → 궤적)에서 PSNR 15.99 dB, SSIM 0.707을 달성하여 클래스 평균인 9.197 dB 및 0.159를 크게 상회했다.
• 온라인에서 오프라인으로의 변환(궤적 → 이미지)에서도 모델은 PSNR 15.99 dB, SSIM 0.707을 기록하여 다시 한번 클래스 평균을 초월했다.
• 스트로크 복원의 DTW 거리는 0.0361이었으며, 이는 재구성된 궤적과 원본 궤적 간의 유사도가 매우 높음을 시사하며, 낮은 값일수록 성능이 우수함을 의미한다.
• 시계열 인코더 및 디코더에 컨볼루션 레이어를 사용한 결과 LSTMs보다 우수한 성능을 기록하여 PSNR, SSIM, DTW 점수 모두에서 향상되었으며, 이는 스트로크 좌표의 공간적 의존성을 더 잘 모델링할 수 있었기 때문으로 보인다.
• 공간 공유 손실은 두 모달 간의 잠재 공간을 효과적으로 정렬하여 정확한 교차 모달 생성을 가능하게 했다.
• 모델은 인크립션과 스트로크 복원 모두를 성공적으로 구현하여 공유된 잠재 공간을 사용한 공동 모달 간 변환의 가능성을 입증했다.