[논문 리뷰] Mastering Sketching: Adversarial Augmentation for Structured Prediction

Edgar Simo‐Serra, Satoshi Iizuka외 1명|arXiv (Cornell University)|2017. 03. 27.

Multimodal Machine Learning Applications인용 수 14

한 줄 요약

이 논문은 스케치 단순화에서 구조 예측을 위한 적대적 증강 기법을 제안하며, 생성적 적대적 네트워크(GAN) 프레임워크를 사용하여 판별자(discriminator)가 실제 스케치와 생성된 스케치를 구분하도록 한다. 이로 인해 출력의 현실성과 일반화 능력이 향상된다. 이 방법은 비지도 학습 데이터를 효과적으로 활용하며, 실제 환경에서 발견되는 거친 스케치에 대해 최신 기술 수준(SOTA)의 성능을 달성한다. 또한 연필 그림 생성과 같은 역방향 작업도 지원한다.

ABSTRACT

We present an integral framework for training sketch simplification networks that convert challenging rough sketches into clean line drawings. Our approach augments a simplification network with a discriminator network, training both networks jointly so that the discriminator network discerns whether a line drawing is a real training data or the output of the simplification network, which in turn tries to fool it. This approach has two major advantages. First, because the discriminator network learns the structure in line drawings, it encourages the output sketches of the simplification network to be more similar in appearance to the training sketches. Second, we can also train the simplification network with additional unsupervised data, using the discriminator network as a substitute teacher. Thus, by adding only rough sketches without simplified line drawings, or only line drawings without the original rough sketches, we can improve the quality of the sketch simplification. We show how our framework can be used to train models that significantly outperform the state of the art in the sketch simplification task, despite using the same architecture for inference. We additionally present an approach to optimize for a single image, which improves accuracy at the cost of additional computation time. Finally, we show that, using the same framework, it is possible to train the network to perform the inverse problem, i.e., convert simple line sketches into pencil drawings, which is not possible using the standard mean squared error loss. We validate our framework with two user tests, where our approach is preferred to the state of the art in sketch simplification 92.3% of the time and obtains 1.2 more points on a scale of 1 to 5.

연구 동기 및 목표

• 쌍으로 제공된 레이블이 부여된 스케치 데이터로 학습된 스케치 단순화 모델의 낮은 일반화 능력을 해결하기 위해.
• 비정형적이고 실제 환경의 스케치('in the wild')에서의 스케치 단순화 성능을 향상시키기 위해, 레이블이 없는 거친 스케치 데이터를 학습에 통합하기 위해.
• 표준 평균 제곱 오차 손실(MSE) 손실로는 구현이 어려운, 깔끔한 선형 스케치에서 연필 스케치를 생성하는 역방향 작업을 가능하게 하기 위해.
• 적대적 손실과 평균 제곱 오차 손실을 결합하여 GAN 학습을 안정화하고, 모드 붕괴와 잡음 등을 방지하기 위해.
• 어려운 개별 케이스의 정확도를 향상시키기 위해 추론 시간 동안 최적화를 수행하는 테스트 시점 최적화 방법을 개발하기 위해.

제안 방법

• 완전 컨볼루션 스케치 단순화 네트워크와 실수 또는 생성된 스케치를 구분하는 판별자 네트워크를 함께 학습한다.
• 단순화 네트워크는 평균 제곱 오차(MSE) 손실과 적대적 손실을 모두 최소화하도록 최적화되어, 현실적이고 일관성 있는 출력을 유도한다.
• 비지도 데이터(쌍으로 제공되지 않은 거친 스케치)는 판별자를 실제 스케치와 생성된 스케치에 대해 학습시켜, 하이브리드 지도 및 비지도 학습을 가능하게 한다.
• 프레임워크는 입력 거친 스케치를 관찰하지 않고 단지 단순화된 스케치 출력만 관찰하므로, 조건부 GAN에 비해 학습 안정성이 향상된다.
• 테스트 시점 최적화 절차를 도입하여, 적대적 손실을 사용해 단일 입력 이미지에 대해 네트워크를 미세 조정함으로써 어려운 케이스의 정확도를 향상시킨다.
• 데이터 역할을 뒤바꿔 재학습함으로써, 동일한 프레임워크를 사용해 깔끔한 선형 스케치에서 연필 스케치를 생성하는 역방향 문제로 확장한다.

실험 결과

연구 질문

• RQ1 표준 MSE 기반 학습에 비해, 적대적 학습이 스케치 단순화 출력의 현실성과 구조적 일관성에 향상 효과를 미칠 수 있는가?
• RQ2 실제 환경에서 발견되는 비지도 거친 스케치를 쌍으로 제공되지 않은 레이블 없이 효과적으로 활용하여 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 표준 손실로는 구현이 어려운 깔끔한 선형 스케치에서 연필 스케치를 생성하는 역방향 작업을 가능하게 하는가?
• RQ4 특히 잡음 생성 측면에서, 조건부 GAN과 비교해 제안된 방법이 학습 안정성과 출력 품질 측면에서 어떻게 성능을 내는가?
• RQ5 테스트 시점 최적화는 어려운 개별 스케치의 정확도를 추가로 향상시킬 수 있으며, 그에 따른 추론 시간 증가는 어떤가?

주요 결과

• 제안된 방법은 스케치 단순화 분야에서 최신 기술 수준(SOTA)을 초월하며, 사용자 연구에서 92.3%의 비율로 선호되었고, 5점 척도에서 평균 1.2점 높은 점수를 기록했다.
• 프레임워크는 비지도 데이터를 효과적으로 활용하여, 추가 레이블 없이도 실제 환경의 거친 스케치에서의 성능을 크게 향상시켰다.
• 적대적 증강을 적용한 모델는 표준 MSE 기반 모델에 비해 더 선명하고 일관성 있는 스케치를 생성하며, 후자는 일반적으로 기능을 흐리게 하거나 왜곡하는 경향이 있다.
• 조건부 GAN과 비교해 제안된 방법은 학습 중 더 안정적이며, MSE 손실을 정규화로 포함함으로써 잡음과 같은 문제를 피한다.
• 테스트 시점 최적화는 저대비 스케치와 같은 어려운 케이스에서 정확도를 향상시키지만, 추론 시간이 크게 증가하는 비용이 수반된다.
• 동일한 프레임워크는 깔끔한 선형 스케치에서 연필 스케치를 생성하는 역방향 작업을 성공적으로 수행하여, 구조 예측 문제에 넓은 적용 가능성을 보였다.