[논문 리뷰] A System for Automated Image Editing from Natural Language Commands

Jacqueline Brixey, Ramesh Manuvinakurike외 4명|arXiv (Cornell University)|2018. 12. 03.

Multimodal Machine Learning Applications참고 문헌 11인용 수 6

한 줄 요약

이 논문은 자연어 이미지 편집 명령을 해석하기 위해 먼저 편집 작업을 분류하고, 그 다음에 기계 학습을 사용하여 관련 엔터티를 탐지하는 이중 수준 시스템을 제안한다. 최고의 성능을 보인 모델은 작업 분류에 대해 LSTM과 SVM(F1 = 0.89)이며, 엔터티 시퀀스 탐지에 대해선 BiLSTM-CRF(F1 = 0.73, 내부 엔터티 기준)를 사용하여 기술적 전문 지식 없이도 사용자 요청을 자동으로 실행할 수 있도록 한다.

ABSTRACT

This work presents the task of modifying images in an image editing program using natural language written commands. We utilize a corpus of over 6000 image edit text requests to alter real world images collected via crowdsourcing. A novel framework composed of actions and entities to map a user's natural language request to executable commands in an image editing program is described. We resolve previously labeled annotator disagreement through a voting process and complete annotation of the corpus. We experimented with different machine learning models and found that the LSTM, the SVM, and the bidirectional LSTM-CRF joint models are the best to detect image editing actions and associated entities in a given utterance.

연구 동기 및 목표

• 비전문가 사용자가 기술적 소프트웨어 명령어 대신 자연어를 사용하여 이미지를 편집할 수 있도록 하기 위해.
• 대규모 이미지 편집 요청 코퍼스에서 애너테이션 불일치를 해결하고 레이블링을 완료하기 위해.
• 자연어 문장에서 실행 가능한 이미지 편집 작업과 엔터티로 매핑하는 기계 학습 파이프라인을 개발하기 위해.
• 다양한 모델이 비정형 텍스트에서 이미지 편집 작업을 분류하고 관련 엔터티를 탐지하는 데 얼마나 효과적인지 평가하기 위해.
• 미래의 이미지 편집 대화에서 작업과 엔터티를 동시에 모델링하기 위한 기반을 마련하기 위해.

제안 방법

• 시스템은 두 단계 프레임워크를 사용한다: 먼저 이미지 편집 작업(예: 자르기, 조정, 삭제 등)을 분류하고, 그 다음에 해당 작업과 관련된 엔터티(예: 영역, 객체, 수정자/값 등)를 탐지한다.
• 자연어 어휘를 18개의 사전 정의된 작업과 5개의 엔터티 유형으로 매핑하는 새로운 애너테이션 프레임워크를 도입하여 중첩 및 겹침 레이블을 지원한다.
• 작업 분류 모델은 TensorFlow와 Scikit-learn를 사용하여 LSTM, SVM, 로지스틱 회귀, 랜덤 포레스트를 평가한다.
• 엔터티 탐지 모델은 표준 CRF와 최신 기술인 BiLSTM-CRF 모델을 비교하여 엔터티의 시퀀스 레이블링 성능을 향상시킨다.
• 9,101건의 편집 요청으로 구성된 코퍼스는 작업 분류에 대해 훈련(75%), 검증(10%), 테스트(15%) 세트로 분할되었으며, 엔터티 데이터는 훈련 80%, 검증 10%, 테스트 10%로 분할되었다.
• 중첩 엔터티의 경우 평가 시 오직 가장 내부의 레이블만 사용하여 일관된 성능 비교를 보장한다.

실험 결과

연구 질문

• RQ1 자연어 기반의 이미지 편집 요청이 이미지 편집 소프트웨어에서 실행 가능한 작업과 엔터티로 정확히 매핑될 수 있는가?
• RQ2 비정형 텍스트에서 이미지 편집 작업을 분류하는 데 가장 우수한 성능을 보이는 기계 학습 모델은 무엇인가?
• RQ3 BiLSTM-CRF 모델은 특히 중첩되거나 모호한 요청에서 엔터티 시퀀스 탐지에 얼마나 효과적인가?
• RQ4 이중 수준 모델 아키텍처가 모호하거나 실행 불가능한 작업을 걸러내어 시스템의 강건성을 얼마나 향상시키는가?
• RQ5 시스템은 기술 용어 없이도 다양한 실제 자연어 변형을 다룰 수 있는가?

주요 결과

• LSTM과 SVM 모델은 작업 분류에서 F1 점수 0.89를 기록하여 로지스틱 회귀(0.87)와 랜덤 포레스트(0.58)를 앞서며 최고의 성능을 보였다.
• BiLSTM-CRF 모델은 내부 엔터티만 탐지할 경우 F1 점수 0.73를 기록하여 기준 모델인 CRF(0.66)보다 유의미하게 뛰어났다.
• LSTM 모델은 데이터셋의 클래스 불균형에도 불구하고 '돌리기'와 같은 저빈도 작업도 높은 정확도로 정확히 분류하였다.
• 시스템은 명령형, 모odal형, 서술형 문장과 같은 언어적 다양성에 대해 강건성을 보였으며, 예를 들어 '이 이미지는 흐리다' 또는 '기린 부분에 줌인해 주세요'와 같은 문장도 처리할 수 있었다.
• 프레임워크는 겹침 및 중첩 레이블을 지원하여 동일한 단어가 작업과 수정자/값 엔터티로 동시에 애너테이션될 수 있도록 하여 해석의 유연성을 향상시켰다.
• 결과는 작업과 엔터티를 동시에 모델링하는 공동 모델이 성능 향상에 기여할 수 있음을 시사하며, 대화형 편집 환경에서의 전이 학습은 향후 타당한 연구 방향임을 시사한다.