[논문 리뷰] Lightweight Generative Adversarial Networks for Text-Guided Image Manipulation

Bowen Li, Xiaojuan Qi외 2명|arXiv (Cornell University)|2020. 01. 01.

Image Processing Techniques and Applications인용 수 33

한 줄 요약

간단 요약: 단어 수준 판별기와 단어 수준 감독을 갖춘 경량 GAN을 도입하여 자연어 설명으로부터 이미지를 편집하고, 훨씬 적은 파라미터로도 강력한 조작을 달성합니다.

ABSTRACT

We propose a novel lightweight generative adversarial network for efficient image manipulation using natural language descriptions. To achieve this, a new word-level discriminator is proposed, which provides the generator with fine-grained training feedback at word-level, to facilitate training a lightweight generator that has a small number of parameters, but can still correctly focus on specific visual attributes of an image, and then edit them without affecting other contents that are not described in the text. Furthermore, thanks to the explicit training signal related to each word, the discriminator can also be simplified to have a lightweight structure. Compared with the state of the art, our method has a much smaller number of parameters, but still achieves a competitive manipulation performance. Extensive experimental results demonstrate that our method can better disentangle different visual attributes, then correctly map them to corresponding semantic words, and thus achieve a more accurate image modification using natural language descriptions.

연구 동기 및 목표

• 메모리 한정 장치에서 자연어로부터의 효율적 이미지 편집 동기를 부여합니다.
• 생성기에 세밀한, 단어 기반 피드백을 제공하는 단어 수준 판별기를 개발합니다.
• 단어를 시각적 속성으로 매핑하여 해리된 속성 조작을 촉진합니다.
• 현대 최첨단 방법과 비교하여 품질 저하 없이 모델 복잡도를 감소시킵니다.

제안 방법

• 단어-영역 상관관계를 사용하여 단어별 피드백을 제공하는 단어 수준 판별기를 도입합니다.
• 명사를 감독 대상로 남기고 형용사를 포함한 품사 태깅으로 단어에 라벨을 부여합니다.
• 단어-영역 상관관계 m = w^T v 를 계산한 뒤, 이를 정규화하여 주의 집중 유사 가중치 α와 β를 얻고, 단어 인식 특징 n 과 단어별 상관 δ 를 도출합니다.
• 텍스트 인코더, 두 개의 이미지 인코더(Inception-v3 및 VGG-16), 업샘플링 및 잔차 블록, 주의 메커니즘을 활용한 경량 생성기를 학습합니다.
• 생성기 목표 함수에서 무조건(언리버스) 및 조건부 적대 손실, 지각 손실, 단어 수준 손실, DAMSM 텍스트-이미지 매칭 손실의 조합을 사용합니다; 판별기는 무조건/조건부 적대 손실과 단어 수준 감독을 최적화합니다.
• 생성의 서로 다른 단계에 대해 의미적 표현(Inception-v3)과 디테일 정제(VGG-16)를 균형 있게 다루기 위해 이중 이미지 인코더를 활용합니다.

실험 결과

연구 질문

• RQ1 단어 수준의 판별기가 경량 생성기가 텍스트에서 이미지를 정확하게 조작하도록 충분히 세밀한 감독을 제공할 수 있을까?
• RQ2 제안된 단어 수준 감독이 속성의 해리와 의미 단어로의 매핑을 기존의 단어 수준 판별기와 비교했을 때 향상될까?
• RQ3 경량 모델의 성능(FID, 정확도, 현실감)과 효율성이 표준 데이터셋에서 최첨단 ManiGAN과 어떻게 비교될까?
• RQ4 메모리 효율을 유지하면서 서로 다른 난이도(CUB 대 COCO) 데이터셋에서 접근 방식이 로버스트한가?

주요 결과

• 제안된 방법은 ManiGAN보다 CUB(8.02) 및 COCO(12.39)에서 더 나은 FID를 달성합니다( CUB 9.75, COCO 25.08 대비 ).
• 제안된 방법은 CUB에서 정확도 65.94, 실감도 57.82, COCO에서 정확도 77.97, 실감도 67.53으로 ManiGAN의 CUB 34.06 정확도, 42.18 실감도 및 COCO의 22.03 정확도, 32.47 실감도보다 높습니다.
• 경량 모델은 파라미터 수가 현저히 적습니다(NoP-G 18.5M; NoP-D 71.8M) vs ManiGAN(NoP-G 41.1M; NoP-D 169.4M)하며, 에폭 런타임(RPE) 및 추론 시간(IT)이 더 빠릅니다.
• 단계적 어블레이션은 단어 수준 판별기를 제거하면 성능이 저하되고 속성-단어 매핑이 해체되며, 다른 단어 수준 판별기로 대체하면 주의 집중 및 속성 매핑 정확도가 떨어짐을 보여줍니다.
• 정성적 결과는 ManiGAN에 비해 더 명확하고 정확한 속성 수정 및 텍스트와 무관한 콘텐츠 보존이 더 잘 이루어짐을 보여줍니다.