[논문 리뷰] Controllable Data Generation by Deep Learning: A Review

Shi-Yu Wang, Yuanqi Du외 4명|arXiv (Cornell University)|2022. 07. 19.

Machine Learning in Materials Science인용 수 10

한 줄 요약

이 논문은 특정하고 원하는 성질을 가진 데이터를 생성하기 위해 딥러닝을 활용한 제어 가능한 딥 데이터 생성을 검토한다. 예를 들어, 목표 용해도를 가진 분자 구조나 특정 이미지 스타일을 생성하는 것을 포함한다. 논문은 기법들을 분류하는 체계를 제안하고, 평가 지표를 평가하며, 설명 가능성, 상관된 성질 최적화, 데이터 부족 등의 핵심 과제를 규명한다.

ABSTRACT

Designing and generating new data under targeted properties has been attracting various critical applications such as molecule design, image editing and speech synthesis. Traditional hand-crafted approaches heavily rely on expertise experience and intensive human efforts, yet still suffer from the insufficiency of scientific knowledge and low throughput to support effective and efficient data generation. Recently, the advancement of deep learning has created the opportunity for expressive methods to learn the underlying representation and properties of data. Such capability provides new ways of determining the mutual relationship between the structural patterns and functional properties of the data and leveraging such relationships to generate structural data, given the desired properties. This article is a systematic review that explains this promising research area, commonly known as controllable deep data generation. First, the article raises the potential challenges and provides preliminaries. Then the article formally defines controllable deep data generation, proposes a taxonomy on various techniques and summarizes the evaluation metrics in this specific domain. After that, the article introduces exciting applications of controllable deep data generation, experimentally analyzes and compares existing works. Finally, this article highlights the promising future directions of controllable deep data generation and identifies five potential challenges.

연구 동기 및 목표

• 특정하고 제어 가능한 성질을 가진 데이터를 생성하기 위한 딥러닝 기법들을 체계적으로 검토하고 분류하는 것.
• 제어 가능한 데이터 생성에서 핵심 과제인 설명 가능성, 상관된 성질 최적화, 제한된 레이블 데이터 등을 식별하고 분석하는 것.
• 다양한 도메인에서 생성된 데이터의 품질과 성질 제어 능력을 평가하는 데 사용되는 평가 지표를 요약하는 것.
• 신약 설계, 이미지 편집, 음성 합성, 단백질 생성 등 유망한 응용 분야를 부각하는 것.
• 이 분야의 향후 연구 방향과 다섯 가지 주요 열린 과제를 제시하는 것.

제안 방법

• 잠재 공간에서 특정 성질을 가진 데이터로의 매핑을 학습하는 방식으로 제어 가능한 딥 데이터 생성을 공식적으로 정의한다.
• 조건부 생성, 잠재 공간 조작, 강화 학습 기반 최적화 등의 생성 파라디그마를 기반으로 한 새로운 기법 분류 체계를 제안한다.
• VAE, GAN, 순차적 모델, 확산 모델 등을 포함한 잠재 표현을 활용하는 방법들을 카테고리화한다.
• 잠재 공간 내 기울기 기반 탐색 및 성질 제어를 위한 보상 설계를 통한 강화 학습 최적화 전략을 검토한다.
• 데이터 품질 평가에 FID(Fréchet Inception Distance)를, 성질 정확도 평가에 성질 제어 능력을 평가하는 데 사용되는 지표를 요약한다.
• 화학, 생물학, 컴퓨터 비전 등 다양한 도메인에서의 벤치마크 데이터셋과 응용 중심의 프레임워크를 분석한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 어떻게 특정하고 원하는 성질을 가진 데이터를 제어 가능한 방식으로 효과적으로 생성할 수 있는가?
• RQ2 기존의 제어 가능한 데이터 생성 접근 방식들 간의 주요 기술적 범주와 방법론적 차이점은 무엇인가?
• RQ3 현재 사용되는 평가 지표들은 생성된 출력물의 데이터 품질과 성질 제어 능력을 어떻게 평가하는가?
• RQ4 제어 가능한 딥 데이터 생성의 실용적 구현과 일반화를 저해하는 주요 과제는 무엇인가?
• RQ5 어떻게 도메인 특화 지식과 제약 조건을 딥러닝 프레임워크에 통합하여 성능과 신뢰성을 향상시킬 수 있는가?

주요 결과

• VAE, GAN, 순차적 모델 등의 딥 생성 모델은 연속적인 잠재 표현을 학습함으로써 복잡한 데이터 공간의 효율적 탐색을 가능하게 한다.
• 기울기 기반 최적화를 통한 잠재 공간 조작은 효과적인 성질 제어를 가능하게 하여 원하는 용해도나 독성 프ofile를 가진 분자를 생성할 수 있다.
• 벤치마크 과제에서 뛰어난 성능을 보이지만, 많은 모델들이 설명 가능성이 부족하여 특정 성질을 담당하는 기능적 기초를 식별하기 어려운 편이다.
• 현재의 방법들은 상관된 성질을 효과적으로 다루지 못하는 경우가 많으며, 다목적 최적화에서 갈등하는 제약 조건이 최적 또는 실현 불가능한 해를 초래할 수 있다.
• 특히 신약 개발과 같은 분야에서 레이블이 부족한 데이터 문제로 인해 지도 학습이 제한되며, 이에 따라 준지도 또는 자기지도 학습 대안이 필요로 한다.
• 자동화된 생성 데이터 검증은 여전히 한계에 봉착해 있으며, 특히 생물학 및 음악 분야에서는 실험 또는 인간 평가가 필요로 하며 비용이 많이 든다.