[論文レビュー] Vectorization of Raster Manga by Deep Reinforcement Learning

Hao Su, Jianwei Niu+3 more|arXiv (Cornell University)|Oct 10, 2021

Video Analysis and Summarization被引用数 6

ひとこと要約

本稿では、ストロークプリミティブの系列として全体のコミックをモデル化することで、ラスターマンガのベクトル化のための深層強化学習手法Mang2Vecを提案する。構造的報酬関数とプリーニング機構を用いて最適なストローク系列を生成するようにエージェントを訓練することで、ベクトル化の品質とストレージ効率の両面で最先端の結果を達成した。

ABSTRACT

Manga is a popular Japanese-style comic form that consists of black-and-white lines. Compared with images of real-world scenarios, the simpler textures and fewer color gradients of mangas are the extra natures that can be vectorized. In this paper, we propose Mang2Vec, the first approach for vectorizing raster mangas using Deep Reinforcement Learning (DRL). Unlike existing learning-based works of image vectorization, we present a new view that considers an entire manga as a collection of basic primitives stroke line, and the sequence of strokes lines can be deep decomposed for further vectorization. We train a designed DRL agent to produce the most suitable sequence of lines, which is constrained to follow the visual feature of the target manga. Next, the control parameters of strokes are collected to translated to vector format. To improve our performances on visual quality and storage size, we further propose an SA reward to generate accurate stokes, and a pruning mechanism to avoid producing error and redundant strokes. Quantitative and qualitative experiments demonstrate that our Mang2Vec can produce impressive results and reaches the state-of-the-art level.

研究の動機と目的

• マンガの特徴的な視覚的特性（例：簡略化されたテクスチャ、線画ベースのレンダリング）に特化した学習ベースのベクトル化手法の不足に対処すること。
• マンガの線画の順序的・構造的性質を考慮しない既存の画像ベクトル化技術の限界を克服すること。
• マンガをストロークプリミティブの系列としてモデル化することで、視覚的に正確でコンパクトなベクトル出力を得る方法を開発すること。
• 新しい形状に配慮した（SA）報酬関数とプリーニング機構を用いて、ベクトル化の品質を向上させ、冗長性を低減すること。

提案手法

• 本手法は、マンガを基本的なストロークプリミティブの系列としてモデル化し、ベクトル化を逐次的意思決定問題として扱う。
• 最適なストローク系列を入力ラスターマンガの視覚的特徴に最も適合させるように、深層強化学習エージェントを訓練する。
• エージェントは、ターゲットマンガの視覚的構造に整合する正確なストローク生成を促進する、形状に配慮した（SA）報酬関数を用いる。
• 推論中にプリーニング機構を適用することで、冗長または誤ったストロークを削除し、出力のコンパクト性と品質を向上させる。
• 生成されたストロークの制御パラメータを収集し、標準的なベクトル形式（例：SVGに類似した出力）に変換する。
• 生成されたストロークが元のマンガの線画とトポロジーに適合するように、視覚的特徴制約を活用する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、ラスターマンガを最適なベクトルストローク系列に分解する能力を効果的に学習できるか？
• RQ2 形状に配慮した報酬関数は、標準報酬と比較して、生成されたベクトルストロークの正確性と視覚的忠実度をどのように向上させるか？
• RQ3 プリーニング機構は、視覚的品質を劣化させることなく、どれほど冗長性を低減し、ストレージ効率を向上させられるか？
• RQ4 ストロークの系列としてマンガをモデル化することは、従来の画像ベクトル化手法と比較して、視覚的品質とコンパクト性の両面で優れているか？

主な発見

• Mang2Vecは、ラスターマンガのベクトル化において最先端のパフォーマンスを達成し、視覚的品質において既存の学習ベース手法を上回った。
• 形状に配慮した（SA）報酬は、ストロークの正確性を顕著に向上させ、生成されたベクトル出力が元のマンガの線画構造に非常に近いものとなった。
• プリーニング機構は、冗長ストロークの数を効果的に削減し、視覚的劣化を最小限に抑えつつ、よりコンパクトなベクトル表現を実現した。
• 定量的実験により、Mang2Vecはベースライン手法と比較して、優れたストレージ効率と視覚的忠実度を有するベクトル出力を生成することが確認された。
• 定性的な結果から、本手法は複雑な線画においても細部を保持し、構造的整合性を保つ能力を示した。