[논문 리뷰] Techniques for Symbol Grounding with SATNet

Sever Topan, David Rolnick외 1명|arXiv (Cornell University)|2021. 06. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 6

한 줄 요약

이 논문은 레이블 泄漏 없이 Visual Sudoku 문제를 해결할 수 있도록 SATNet이 상호작용 없이 스스로 학습할 수 있도록 하는 자기지도 학습 전처리 파이프라인을 제안한다. 이는 기호 기반 문제를 해결하는 데 성공한다. 클러스터링 기반 정렬과 새로운 기호 기반 손실을 통해, 64.8%의 정확도를 달성하여 레이블이 없는 Visual Sudoku에서 SATNet의 지도 학습 성능을 재현하며, 동시에 예측을 보정하는 증명 검토 메커니즘을 도입하여 최신 기준을 초월한다.

ABSTRACT

Many experts argue that the future of artificial intelligence is limited by the field's ability to integrate symbolic logical reasoning into deep learning architectures. The recently proposed differentiable MAXSAT solver, SATNet, was a breakthrough in its capacity to integrate with a traditional neural network and solve visual reasoning problems. For instance, it can learn the rules of Sudoku purely from image examples. Despite its success, SATNet was shown to succumb to a key challenge in neurosymbolic systems known as the Symbol Grounding Problem: the inability to map visual inputs to symbolic variables without explicit supervision ("label leakage"). In this work, we present a self-supervised pre-training pipeline that enables SATNet to overcome this limitation, thus broadening the class of problems that SATNet architectures can solve to include datasets where no intermediary labels are available at all. We demonstrate that our method allows SATNet to attain full accuracy even with a harder problem setup that prevents any label leakage. We additionally introduce a proofreading method that further improves the performance of SATNet architectures, beating the state-of-the-art on Visual Sudoku.

연구 동기 및 목표

• 시각적 입력이 명시적 지도 학습 없이 기호 변수로 매핑되지 않는 신경기호 AI의 기호 기반 문제를 해결한다.
• SATNet이 숫자 분류에 대한 중간 지도 없이도 논리 제약 조건과 시각적 표현을 종합적으로 학습할 수 있도록 한다.
• 입력 레이블이 없고 출력 레이블만 있는 땅바닥 없는 MAXSAT 문제에 일반화할 수 있는 방법을 개발한다.
• 제한되거나 전혀 없는 입력 데이터 레이블 상황에서 SATNet의 강건성과 일반화 능력을 향상시킨다.
• 예측을 재검토하고 수정하는 증명 검토 메커니즘을 도입하여 시각적 추론 작업의 성능을 더욱 향상시킨다.

제안 방법

• SATNet 아키텍처 내에서 지도 없는 클러스터링 및 지식 정렬 과정을 적용하여, 진정한 레이블 없이도 숫자 표현을 학습할 수 있도록 시각적 분류기 전처리를 수행한다.
• 모델이 학습한 임bedding과 기호 레이블 공간 간의 순열 매핑을 학습하는 기호 기반 손실을 설계하여 논리 제약 계층의 종합적 학습이 가능하도록 한다.
• 가능한 MAXSAT 솔버(SATNet)를 사용하여 시각적 특징과 논리 일관성을 동시에 최적화하여, 예측이 수수께끼 규칙을 만족하도록 보장한다.
• 논리 일관성 검사를 통해 예측을 재평가하고 수정하는 증명 검토 모듈을 통합하여 최종 정확도를 향상시킨다.
• 랜덤 시드에 민감한 문제를 해결하기 위해 수정된 PyTorch 구현을 통해 학습을 안정화시켜 재현 가능성을 향상시킨다.
• 입력 셀 값에 대한 레이블이 없는, 유일하게 출력 셀 값만 레이블이 되어 있는 수정된 데이터셋을 사용하여 학습한다. 이는 레이블 泄漏가 없는 현실적인 땅바닥 없는 설정을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 SATNet이 입력 숫자 분류에 대한 어떤 지도 학습도 없이 Visual Sudoku 문제를 해결할 수 있는가? 이는 기호 기반 문제를 극복하는 데 성공하는가?
• RQ2 자기지도 전처리를 통한 시각적 특징 학습이 얼마나 효과적으로 신경기호 모델의 종합적 학습을 가능하게 하는가?
• RQ3 제안된 기호 기반 손실이 비정형 시각적 특징에서 기호 매핑을 얼마나 효과적으로 학습하는가?
• RQ4 증명 검토 메커니즘이 시각적 추론 작업에서 SATNet 기반 모델의 정확도를 추가로 향상시킬 수 있는가?
• RQ5 SATNet이 땅바닥 없는 설정에서 성능의 상한선은 무엇이며, 입력 분류 정확도에서 유도된 상한선과 비교해보면 어떠한가?

주요 결과

• 제안된 방법은 땅바닥 없는 Visual Sudoku에서 총 보드 정확도 64.8%를 달성하였으며, 이는 이전의 SATNet 변종이 레이블 泄漏 없이 달성한 0% 정확도에 비해 상당한 향상이다.
• 자기지도 전처리 파이프라인 덕분에 SATNet은 레이블 泄漏가 있는 원래 SATNet 모델의 성능을 재현할 수 있었으며, 종합적 학습의 효과를 입증하였다.
• 기호 기반 손실은 학습된 시각적 임베딩과 기호 레이블 간의 순열 매핑을 성공적으로 학습하여, 입력에 대한 지도 없이도 논리 제약 계층을 학습할 수 있도록 하였다.
• 증명 검토 메커니즘이 최신 기준을 초월하여 성능을 향상시켰으며, 이는 논리 일관성 검사를 통해 예측을 효과적으로 보정할 수 있음을 시사한다.
• SATNet은 일부 입력 레이블 오류에 대해 논리 추론을 통해 어느 정도 대처할 수 있으며, 특히 오류로 인해 해결 불가능한 보드가 되는 경우에 더 강력한 성능을 보였다.
• 입력 분류 정확도에서 유도된 성능 상한선(74.8%)은 엄격히 묶이지 않으며, SATNet이 논리적 추론을 통해 일부 입력 오류를 보정할 수 있음을 보여준다.