[논문 리뷰] Vectorization of Raster Manga by Deep Reinforcement Learning

Hao Su, Jianwei Niu외 3명|arXiv (Cornell University)|2021. 10. 10.

Video Analysis and Summarization인용 수 6

한 줄 요약

이 논문은 스트로크 원소의 순서로 전체 만화를 모델링함으로써 래스터 만화를 벡터화하기 위한 딥 강화학습 기반 접근법인 Mang2Vec을 제안한다. 구조적 보상 및 잘라내기 메커니즘을 통해 최적의 스트로크 순서를 생성하도록 학습된 에이전트를 통해, 벡터화 품질과 저장 효율성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Manga is a popular Japanese-style comic form that consists of black-and-white lines. Compared with images of real-world scenarios, the simpler textures and fewer color gradients of mangas are the extra natures that can be vectorized. In this paper, we propose Mang2Vec, the first approach for vectorizing raster mangas using Deep Reinforcement Learning (DRL). Unlike existing learning-based works of image vectorization, we present a new view that considers an entire manga as a collection of basic primitives stroke line, and the sequence of strokes lines can be deep decomposed for further vectorization. We train a designed DRL agent to produce the most suitable sequence of lines, which is constrained to follow the visual feature of the target manga. Next, the control parameters of strokes are collected to translated to vector format. To improve our performances on visual quality and storage size, we further propose an SA reward to generate accurate stokes, and a pruning mechanism to avoid producing error and redundant strokes. Quantitative and qualitative experiments demonstrate that our Mang2Vec can produce impressive results and reaches the state-of-the-art level.

연구 동기 및 목표

• 만화의 고유한 시각적 특성, 예를 들어 단순화된 텍스처와 선 기반 렌더링를 고려한 특화된 학습 기반의 벡터화 방법의 부족을 해결하기 위해.
• 만화 선 렌더링의 순차적이고 구조적인 성격을 고려하지 않는 기존 이미지 벡터화 기법의 한계를 극복하기 위해.
• 만화를 스트로크 원소의 순서로 모델링하여, 빌드된 스트로크가 원본 만화의 선 렌더링과 위상 구조를 충족하도록 하여, 정확하고 압축 효율이 높은 벡터 출력을 생성하기 위해.
• 새로운 형태 인식 보상(SA)과 잘라내기 메커니즘을 통해 벡터화 품질을 향상시키고 중복을 줄이기 위해.

제안 방법

• 이 방법은 만화를 기본 스트로크 원소의 순서로 모델링하여, 벡터화를 순차적 결정 문제로 간주한다.
• 딥 강화학습 에이전트는 입력 래스터 만화의 시각적 특징과 가장 잘 일치하는 최적의 스트로크 순서를 생성하도록 학습된다.
• 에이전트는 목표 만화의 시각적 구조와 일치하는 정확한 스트로크 생성을 장려하기 위해 형태 인식 보상(SA) 함수를 사용한다.
• 추론 중에 중복되거나 잘못된 스트로크를 제거하기 위해 잘라내기 메커니즘이 적용되어 출력의 압축성과 품질을 향상시킨다.
• 생성된 스트로크의 제어 매개변수를 수집하고 표준 벡터 형식(예: SVG 유사 출력)으로 변환한다.
• 이 방법은 시각적 특징 제약을 활용하여 생성된 스트로크가 원본 만화의 선 렌더링과 위상 구조를 충족하도록 보장한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 래스터 만화를 최적의 벡터 스트로크 순서로 분해하는 데 효과적으로 학습할 수 있는가?
• RQ2 형태 인식 보상 함수는 표준 보상과 비교해 생성된 벡터 스트로크의 정확성과 시각적 충실도를 어떻게 향상시키는가?
• RQ3 잘라내기 메커니즘이 시각적 품질을 떨어뜨리지 않으면서 얼마나 중복을 줄이고 저장 효율을 향상시킬 수 있는가?
• RQ4 스트로크 순서로 만화를 모델링하는 방식이 기존의 이미지 벡터화 방법에 비해 시각적 품질과 압축성 측면에서 뛰어난가?

주요 결과

• Mang2Vec는 래스터 만화의 벡터화에서 최신 기술 수준의 성능을 달성하여, 기존의 학습 기반 방법들보다 시각적 품질에서 뛰어나다.
• 형태 인식(SA) 보상은 스트로크 정확도를 크게 향상시켜 원본 만화의 선 구조와 매우 유사한 벡터 출력을 생성한다.
• 잘라내기 메커니즘이 중복 스트로크의 수를 효과적으로 줄여, 시각적 품질에 거의 영향을 주지 않으면서 더 압축된 벡터 표현을 만들어낸다.
• 정량적 실험 결과, Mang2Vec는 기준 방법들에 비해 뛰어난 저장 효율성과 시각적 충실도를 보이는 벡터 출력을 생성하는 것으로 확인되었다.
• 정성적 결과는 복잡한 선 렌더링에서도 세부 사항과 구조적 일관성을 잘 유지함을 보여준다.