[논문 리뷰] ImagineNet: Restyling Apps Using Neural Style Transfer

Michael Fischer, Richard R. Yang외 1명|arXiv (Cornell University)|2020. 01. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 4

한 줄 요약

ImagineNet는 사전 학습된 VGG19 네트워크의 다양한 레이어 간의 특징 간 비중앙화된 상관관계를 기반으로 한 새로운 손실 항목을 신규 스타일 전이 목표 함수에 추가함으로써 GUI의 난이도를 유지하는 새로운 신경 스타일 전이 모델을 제안한다. 이는 예술적 무늬를 적용하면서도 명확한 개체 경계와 독해 가능한 텍스트를 유지할 수 있도록 해주며, 사용자 선호도 연구에서 기존 기법들을 뛰어넘는 성능을 보였다.

ABSTRACT

This paper presents ImagineNet, a tool that uses a novel neural style transfer model to enable end-users and app developers to restyle GUIs using an image of their choice. Former neural style transfer techniques are inadequate for this application because they produce GUIs that are illegible and hence nonfunctional. We propose a neural solution by adding a new loss term to the original formulation, which minimizes the squared error in the uncentered cross-covariance of features from different levels in a CNN between the style and output images. ImagineNet retains the details of GUIs, while transferring the colors and textures of the art. We presented GUIs restyled with ImagineNet as well as other style transfer techniques to 50 evaluators and all preferred those of ImagineNet. We show how ImagineNet can be used to restyle (1) the graphical assets of an app, (2) an app with user-supplied content, and (3) an app with dynamically generated GUIs.

연구 동기 및 목표

• 사용자와 개발자가 선택한 예술 작품을 사용해 GUI를 재스타일링할 수 있도록 하되, 난이도와 인터페이스 기능성을 유지한다.
• 기존 신경 스타일 전이 기법의 핵심적 한계인 GUI 요소 왜곡과 텍스트 불가독성 문제를 해결한다.
• 단순한 텍스처와 색상 외에도 컨볼루션 신경망의 여러 레이어 간의 구조적 일관성을 고려하여 스타일을 보다 종합적으로 모델링한다.
• 사용자 연구와 실제 앱 재스타일링 시나리오를 통해 제안된 방법의 효과성을 평가한다.
• 동적, 사용자 생성, 제3자 GUI에 대해 사용성 손상 없이 예술적 스타일 적용의 가능성을 입증한다.

제안 방법

• 사전 학습된 VGG19 네트워크의 다양한 레이어 간 특징의 비중앙화된 상관관계를 기반으로 한 새로운 손실 항목을 도입하여 구조적 스타일을 모델링한다.
• 표준 신경 스타일 전이 목표 함수를 수정하여 스타일 이미지의 상관관계와 생성된 출력 이미지의 상관관계 간 제곱 오차를 최소화한다.
• 기능 계층 간의 구조적 일관성을 강조함으로써 콘텐츠 세부 정보를 유지하여 개체 경계와 텍스트의 가독성을 확보한다.
• 고품질 결과를 얻기 위해 최대 10시간 동안 배치 크기가 1인 다중 해상도 최적화 프레임워크로 모델을 훈련시킨다.
• 훈련 후 실시간 추론을 지원하며, 512×288 이미지는 평균 3.02ms, 1920×1080 이미지는 104.02ms 내외로 변환 시간을 확보한다.
• 결과가 만족스럽지 않으면 사용자가 조기에 훈련을 취소할 수 있으며, 1분 이내로 의미 있는 출력 결과를 확인할 수 있다.

실험 결과

연구 질문

• RQ1 신경 스타일 전이 모델은 예술적 스타일을 전이하면서도 GUI의 가독성과 개체 경계를 유지할 수 있는가?
• RQ2 다양한 레이어 간 특징 상관관계를 통합함으로써 재스타일링된 GUI의 구조적 일관성과 시각적 품질이 향상되는가?
• RQ3 사용자들은 ImagineNet가 생성한 재스타일링된 GUI의 시각적 품질과 사용성에 대해 기존 방법과 비교해 어떻게 평가하는가?
• RQ4 어떤 종류의 예술 스타일이 GUI 재스타일링에 가장 적합한가? 그 이유는 무엇인가?
• RQ5 이 방법은 정적 자산, 사용자 콘텐츠, 동적으로 생성된 UI를 포함한 다양한 앱 유형에 일반화될 수 있는가?

주요 결과

• 50명의 평가자들이 참여한 사용자 연구에서, 모두 ImagineNet로 재스타일링된 GUI를 기존 스타일 전이 기법으로 생성된 GUI보다 선호했다.
• 96종의 다양한 스타일에 대한 평균 사용자 평점은 1.6에서 4.5 사이였으며, 96개 중 82개가 3 이상으로 평가되어 스타일 품질에 대한 강한 공감대를 보였다.
• 추상 표현주의, 르네상스 고전, 모더니즘, 팝 아트 스타일은 강한 윤곽선과 생생한 색상 덕분에 잘 전이되었다.
• 액션 페인팅, 레트리즘, 키프틱 아트, 퍼리즘 스타일은 구조적 명확성과 뚜렷한 경계가 부족해 성능이 열악했다.
• 모델은 픽셀당 0.026 μs의 속도로 변환했으며, 512×288 GUI는 평균 3.02ms, 1920×1080는 104.02ms 내외로 처리되었다.
• 구조 손실 항목은 필수적이었다. 이 항목이 없으면 스타일 전이 결과는 비일관성이 심하고 텍스트는 가독성이 없었으며, 콘텐츠 손실을 강화해도 마찬가지였다.