[論文レビュー] RoboCoDraw: Robotic Avatar Drawing with GAN-based Style Transfer and Time-efficient Path Optimization

Tianying Wang, Wei Qi Toh+5 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Vision and Imaging参考文献 22被引用数 5

ひとこと要約

RoboCoDraw は、GANベースのスタイル移行手法（AvatarGAN）を用いて実時間で人間の顔からパーソナライズされたコマicsクールアバターを生成し、2-optおよびリン・カーニハン局所探索ヒューリスティクスを組み合わせたランダム・キー遺伝的アルゴリズム（RKGA）によりロボット描画経路を最適化するリアルタイムのロボットアートシステムである。ベースラインの貪欲な経路計画法と比較して平均17.34%の描画時間短縮を達成し、高類縁性と美的品質を備えた効率的でインタラクティブかつ楽しく、人間とロボットの共同芸術創造を可能にする。

ABSTRACT

Robotic drawing has become increasingly popular as an entertainment and interactive tool. In this paper we present RoboCoDraw, a real-time collaborative robot-based drawing system that draws stylized human face sketches interactively in front of human users, by using the Generative Adversarial Network (GAN)-based style transfer and a Random-Key Genetic Algorithm (RKGA)-based path optimization. The proposed RoboCoDraw system takes a real human face image as input, converts it to a stylized avatar, then draws it with a robotic arm. A core component in this system is the Avatar-GAN proposed by us, which generates a cartoon avatar face image from a real human face. AvatarGAN is trained with unpaired face and avatar images only and can generate avatar images of much better likeness with human face images in comparison with the vanilla CycleGAN. After the avatar image is generated, it is fed to a line extraction algorithm and converted to sketches. An RKGA-based path optimization algorithm is applied to find a time-efficient robotic drawing path to be executed by the robotic arm. We demonstrate the capability of RoboCoDraw on various face images using a lightweight, safe collaborative robot UR5.

研究の動機と目的

• 実時間でインタラクティブに動作するロボットアートシステムを開発し、実際の人間の顔をエンターテインメント用のスタイライズド・コマックスクールアバターに変換すること。
• 入力された顔の特徴（例：顔の輪郭、目の形、髪型）を保持するように生成されたアバターを設計し、入力顔との類縁性を高めること。
• ロボットの描画経路を最適化し、物理的描画時間を短縮しながらスケッチの品質を維持する時間効率性を確保すること。
• トレーニングにおいて手動によるアノテーションや顔のランドマークラベルの必要性を排除すること。
• 軽量な共同ロボット（UR5）とカスタムマーカーホルダーを統合し、不規則な表面でも安定した圧力の一貫性を実現すること。

提案手法

• ペairedデータが不要な未対応の実顔画像とコマックスクールアバター画像の学習に特化した二ストリーム・サイクルGAN変種（AvatarGAN）を提案し、高類縁性のアバターを生成する。
• 生成されたコマックスクールアバターをロボット描画に適したスケッチ表現に変換するためのライン抽出アルゴリズムを適用する。
• 2-optおよびリン・カーニハン局所探索ヒューリスティクスを組み合わせた二段階の局所改善を施したランダム・キー遺伝的アルゴリズム（RKGA）を用いて、描画経路の点の順序を最適化する。
• 均一な交差戦略を採用し、最初の親から選択する確率を 0.7 に設定し、交差前に親の巡回順序を反転させる確率を 0.5 に設定する。
• 突然変異は、キーの小数部を 0.05 の確率でシャッフルし、整数部を 0.05 の確率で反転させる。
• UR5 ロボットアームとスプリング式マーカーホルダーを統合し、不規則なホワイトボード表面でも一貫した圧力を維持する。

実験結果

リサーチクエスチョン

• RQ1 ペairedトレーニングデータが不要な GAN ベースのスタイル移行手法は、実際の人間の顔に類縁性の高いコマックスクールアバターを生成できるか？
• RQ2 提案された RKGA ベースの経路最適化は、ベースライン手法と比較してロボット描画時間の短縮にどの程度効果的か？
• RQ3 共同ロボットを用いたパブリックな環境で、パーソナライズされたアバターをリアルタイムでインタラクティブに描画できるか？
• RQ4 AvatarGAN と経路最適化の統合は、ロボットアートにおける全体的なユーザーエクスペリエンスにどの程度向上効果をもたらすか？
• RQ5 複数のアバターを一度に描画するタスクにおいて、システムの性能は複雑さの変動にどの程度耐えられるか？

主な発見

• AvatarGAN は、vanilla CycleGAN や CariGANs よりも顔の特徴をより良く保持し、入力顔との類縁性が著しく高いアバターを生成した。
• 2-opt およびリン・カーニハンヒューリスティクスを組み合わせた RKGA は、貪欲なベースラインと比較して経路の適合度に平均 17.34% の向上を達成し、描画時間を短縮した。
• 20回の統合試行において、平均描画時間は 43.2 秒、合計前処理時間は 9.9 秒であり、リアルタイムの相互作用を可能にした。
• 5つの複雑なアバター群のグループ化において、経路最適化手法は一貫した性能を示し、1回あたり平均 74 行の描画を実現した。
• スプリング式マーカーホルダーは、z軸の誤差を効果的に補償し、不規則な表面でも一貫した圧力と安定した線画品質を確保した。
• アバターのスケッチから、アート的なラインアートスタイルの描画を効果的に生成し、ピクセルシェイディング再現法と比較して視覚的インパクトを高めた。