[논문 리뷰] Graph Edit Distance Reward: Learning to Edit Scene Graph

Lichang Chen, Guosheng Lin외 2명|arXiv (Cornell University)|2020. 08. 15.

Multimodal Machine Learning Applications참고 문헌 32인용 수 4

한 줄 요약

이 논문은 텍스트 편집 이미지 검색에서 자연어 지시에 따라 장면 그래프를 편집하는 데 학습하는 신경 기호 모델을 훈련하기 위해 그래프 편집 거리(GED) 보상 메커니즘을 제안한다. GED 기반의 조밀한 보상과 정책 그래เดียน트 최적화를 활용하여, 모델은 CSS 및 새로 제안된 CRIR 데이터셋에서 기존 방법들을 능가하며, 복잡한 다단계 추론 시나리오에서 뛰어난 일반화 능력과 정확도를 보여준다.

ABSTRACT

Scene Graph, as a vital tool to bridge the gap between language domain and image domain, has been widely adopted in the cross-modality task like VQA. In this paper, we propose a new method to edit the scene graph according to the user instructions, which has never been explored. To be specific, in order to learn editing scene graphs as the semantics given by texts, we propose a Graph Edit Distance Reward, which is based on the Policy Gradient and Graph Matching algorithm, to optimize neural symbolic model. In the context of text-editing image retrieval, we validate the effectiveness of our method in CSS and CRIR dataset. Besides, CRIR is a new synthetic dataset generated by us, which we will publish it soon for future use.

연구 동기 및 목표

• 크로스모달 이미지 검색에서 사용자 제공 텍스트 지시에 따라 장면 그래프를 편집하는 데 있어 기존의 격차를 해소하기 위해.
• 신경 기호 모델에서의 굵은 0/1 보상에 비해 더 정밀한 조밀한 보상 신호를 도입하기 위해 그래프 편집 거리(GED) 기반 보상을 제안하기 위해.
• 복잡한 다단계 추론을 지원하고 정확한 공간적 위치 제약에 의존도를 줄이기 위해 새로운 합성 데이터셋인 CRIR을 개발하기 위해.
• 신경 프로그램 생성을 통한 이미지 편집을 기호적 장면 그래프 편집으로 전환시켜 더 일반화 가능하고 설명 가능한 이미지 검색을 가능하게 하기 위해.
• GED 기반 보상의 효과성을 검증하기 위해 간단한 쿼리 유형부터 복잡한 쿼리 유형에 이르기까지 모델 성능 향상 여부를 평가하기 위해.

제안 방법

• 예측된 장면 그래프와 목표 장면 그래프 간의 차이를 수량화하는 그래프 편집 거리(GED) 보상 함수를 제안하며, 노드 삽입/삭제 및 속성/에지 교체 비용을 포함한다.
• GED 보상을 정책 그래디언트 프레임워크에 통합하여 장면 그래프에 대한 기호적 편집 작업(예: 추가, 제거, 수정)을 생성하는 신경 프로그램 생성기의 미세조정을 수행한다.
• 이미지를 노드(객체)와 에지(관계)로 구성된 기호적 표현으로 분석할 수 있는 장면 그래프 생성 엔진을 설계하여 구조적 추론을 가능하게 한다.
• 프로그램 출력을 적용하여 장면 그래프를 업데이트하는 수정 엔진을 구현하며, 완전한 에지 연결을 가진 의사 노드를 추가하고, 모든 인cidient 에지를 가진 노드를 제거한다.
• 입력 텍스트에서 잠재 프로그램을 예측하기 위해 seq2seq 프로그램 생성기를 구현하며, 길이 정규화를 위해 패딩을 사용하여 다양한 길이의 지시어를 처리한다.
• 60,000 반복 동안 고정 배치 크기 64로 배치 학습과 조기 정지 기법을 적용하여 GED 보상 기반으로 프로그램 생성기를 최적화한다.

실험 결과

연구 질문

• RQ1 그래프 편집 거리(GED) 기반의 조밀하고 미분 가능한 보상은 0/1 이진 보상에 비해 장면 그래프 편집 학습에 더 나은 성능을 보일 수 있는가?
• RQ2 정확한 공간적 위치에 의존하지 않는 복잡한 다단계 추론 쿼리를 처리하는 데 제안된 방법은 얼마나 효과적인가?
• RQ3 GED 기반 보상은 새로운 복잡한 이미지 검색 작업에 대한 일반화 능력과 성능 향상에 기여하는가?
• RQ4 모델은 CSS와 같이 엄격한 공간 제약이 있는 데이터셋을 넘어 더 현실적인 관계 기반 장면 그래프 시나리오로도 일반화 가능한가?
• RQ5 제안된 CRIR 데이터셋은 텍스트 편집 이미지 검색에서 고급 추론 및 편집 능력을 평가하는 데 얼마나 효과적인가?

주요 결과

• GED 보상이 적용된 제안된 모델은 CSS 및 CRIR 데이터셋에서 모두 최신 기술 수준의 성능을 달성하여, 모든 쿼리 유형에서 TIRG 및 Concat 모델을 능가한다.
• CRIR 데이터셋에서 모델은 TIRG 및 Concat 모델이 크게 실패하는 복잡한 3단계 쿼리에서도 높은 성능을 유지한다.
• GED 보상은 더 효율적이고 정확한 학습을 이끌어내며, 표 2의 마지막 두 열에서 나타난 바와 같이 목표 그래프와의 정렬도가 더 우수함을 입증한다.
• 관계 편집(예: 다른 객체의 왼쪽에 객체를 추가하는 것)을 포함한 정성적 사례에서 모델은 정확한 이미지를 검색하는 데 성공했고, TIRG는 뿐만 아니라 시각적 유사성에 의존하여 잘못된 이미지를 검색한다.
• CLEVR 툴킷을 사용하여 생성된 CRIR 데이터셋은 정확한 위치 제약을 제거하고 다단계 추론을 가능하게 하여 실제 세계의 복잡성을 효과적으로 시뮬레이션한다.
• 모델은 특히 관계 기반 편집 작업에서 강력한 일반화 능력을 보이며, 특징 수준 융합이나 단순 보상에 의존하는 베이스라인 모델들을 능가한다.